[논문 리뷰] Speech2Slot: An End-to-End Knowledge-based Slot Filling from Speech

Pengwei Wang, Xin Ye외 3명|arXiv (Cornell University)|2021. 05. 10.

Natural Language Processing Techniques참고 문헌 32인용 수 4

한 줄 요약

이 논문은 스피치 음소 포스터리어와 실체 데이터베이스 간의 매칭 작업으로 슬롯 채우기를 정의하는 엔드 투 엔드 지식 기반 슬롯 채우기 모델인 Speech2Slot을 제안한다. 이는 순서 생성이 아닌 매칭 작업으로서의 슬롯 채우기 방식을 취한다. 트라이 트리 구조를 활용해 슬롯 경계를 탐지하고, 브릿지 레이어를 통해 슬롯 음소를 디코딩함으로써, 대규모 중국어 음성 내비게이션 데이터셋에서 83.86%의 정확도를 달성하였으며, 이는 이전의 파이프라인 및 엔드 투 엔드 방법보다 12.51% 높은 정확도를 기록하였다. 특히, OOV 및 반어휘적 슬롯에서 뛰어난 성능을 보였다.

ABSTRACT

In contrast to conventional pipeline Spoken Language Understanding (SLU) which consists of automatic speech recognition (ASR) and natural language understanding (NLU), end-to-end SLU infers the semantic meaning directly from speech and overcomes the error propagation caused by ASR. End-to-end slot filling (SF) from speech is an essential component of end-to-end SLU, and is usually regarded as a sequence-to-sequence generation problem, heavily relied on the performance of language model of ASR. However, it is hard to generate a correct slot when the slot is out-of-vovabulary (OOV) in training data, especially when a slot is an anti-linguistic entity without grammatical rule. Inspired by object detection in computer vision that is to detect the object from an image, we consider SF as the task of slot detection from speech. In this paper, we formulate the SF task as a matching task and propose an end-to-end knowledge-based SF model, named Speech-to-Slot (Speech2Slot), to leverage knowledge to detect the boundary of a slot from the speech. We also release a large-scale dataset of Chinese speech for slot filling, containing more than 830,000 samples. The experiments show that our approach is markedly superior to the conventional pipeline SLU approach, and outperforms the state-of-the-art end-to-end SF approach with 12.51% accuracy improvement.

연구 동기 및 목표

• 자연어 인식(ASR) 오류로 인한 파이프라인 말하기 언어 이해(SLU)의 오류 전파 문제를 해결하기 위해, 특히 어휘 외(Out-of-Vocabulary, OOV) 및 반어휘적 슬롯에 대해.
• 엔드 투 엔드 슬롯 채우기에서 순서 생성 기반의 접근 방식이 언어 모델에 크게 의존하고, OOV 및 비문법적 실체에서 어려움을 겪는 문제를 해결하기 위해.
• 스피치 음소 포스터리어와 실체 기반 지식 기반 간의 매칭 작업으로서의 슬롯 채우기 방식을 제안하며, 컴퓨터 비전에서의 객체 탐지에 영감을 받는다.
• 향후 엔드 투 엔드 SLU 연구를 지원하기 위해 83만 개 이상의 샘플을 포함한 대규모 다국어(중국어) 스피치 투 슬롯 데이터셋을 공개한다.

제안 방법

• 슬롯 채우기를 매칭 작업으로 정의: 트라이 트리 구조를 사용해 실체 데이터베이스와의 매칭을 통해 음소 포스터리어에서 슬롯의 시작 및 종료 타임스탬프를 탐지한다.
• 원시 오디오를 처리하고 음소 포스터리어를 생성하기 위해 스피치 인코더를 사용하며, 이는 슬롯 경계 탐지에 입력으로 사용된다.
• 실체 데이터베이스에서 트라이 트리를 구성하여 스피치 입력 내에서 일치하는 음소 조각을 효율적으로 검색한다.
• 탐지된 슬롯의 최종 음소 시퀀스를 실체 데이터베이스 기반으로 매칭된 음소 조각을 바탕으로 브릿지 레이어를 통해 디코딩한다.
• 청각 모델링과 슬롯 매칭의 공동 최적화를 통해 엔드 투 엔드 모델을 훈련하며, 음성과 지식 간의 정렬을 위해 어텐션 메커니즘을 적용한다.
• 닫힌 집합으로서의 지식 기반(실체 데이터베이스)을 활용하여 생성이 아닌 탐지 기반의 슬롯을 가능하게 한다.

실험 결과

연구 질문

• RQ1 스피치와 지식 기반 간의 매칭 작업으로서의 슬롯 채우기 방식이 OOV 및 반어휘적 슬롯을 다룰 때 순서 생성 기반 방식보다 성능이 뛰어나게 되는가?
• RQ2 매칭 기반 엔드 투 엔드 슬롯 채우기 모델의 성능은 전통적인 파이프라인 SLU 및 최신 엔드 투 엔드 생성 기반 모델과 비교해 어떻게 되는가?
• RQ3 지식 기반 매칭 접근 방식이 ASR 오류로부터 오는 오류 전파를 얼마나 줄이고, 실제 인간의 말에 대한 강건성을 향상시키는가?
• RQ4 이러한 방법은 특히 문법적 구조가 없는 경우에도 OOV 슬롯에 얼마나 효과적인가?

주요 결과

• TTS로 생성된 테스트 세트에서 Speech2Slot는 도메인 전용 음성 모델을 사용해 83.86%의 슬롯 채우기 정확도를 달성하였으며, 다음으로 우수한 베이스라인(AM+SF)보다 12.51%포인트 높은 성능을 보였다.
• OOV 서브셋에서는 Speech2Slot가 81.90%의 정확도를 기록하여, 새로운 슬롯에 대한 강건성을 입증하였고, 파이프라인 AM+LM 방법은 단지 23.18%에 머물렀다.
• 일반 목적의 음성 모델을 사용한 상황에서도 Speech2Slot는 인간이 독파한 테스트 세트에서 전체 정확도 72.99%를 기록하였으며, 다음으로 좋은 방법(AM+SF)보다 28.98%포인트 높은 성능을 보였다.
• 실제 인간의 말에서 OOV 서브셋에 대해 Speech2Slot는 16.50%의 정확도를 기록하였고, 이는 다음으로 좋은 방법의 0.95%보다 훨씬 높은 성능을 보여, 실제 환경에서의 효과성을 확인하였다.
• OOV 및 비OOV 슬롯 간에 일관된 성능을 유지함으로써, 생성 기반 방법보다 어휘 커버리지에 덜 민감한 매칭 기반 접근 방식의 우수성을 입증하였다.
• 제거 분석 결과, 음악이나 영화 제목과 같은 반어휘적 실체를 다룰 때 매칭 메커니즘이 생성보다 더 효과적임을 확인하였으며, 이는 언어 모델이 자주 잘못 인식하는 경향이 있음을 반영한다.