[논문 리뷰] SpeechBERT: An Audio-and-text Jointly Learned Language Model for End-to-end Spoken Question Answering

Yung-Sung Chuang, Chi-Liang Liu외 2명|arXiv (Cornell University)|2019. 10. 25.

Topic Modeling참고 문헌 37인용 수 29

한 줄 요약

이 논문은 종단 간 음성 질의 응답(SQA)을 위한 공동 음성-텍스트 미사전훈련 언어 모델인 SpeechBERT를 제안한다. 이 모델은 원시 음성과 텍스트에서 직접 문맥에 맞는 임베딩을 학습하여, 특히 응답 구간에서 ASR 오류가 발생하는 질문에 대해 캐스케이드 ASR-TQA 시스템을 능가한다. 이는 번역 오류가 발생하기 이전에 의미 정보를 포착하기 때문이다.

ABSTRACT

While various end-to-end models for spoken language understanding tasks have been explored recently, this paper is probably the first known attempt to challenge the very difficult task of end-to-end spoken question answering (SQA). Learning from the very successful BERT model for various text processing tasks, here we proposed an audio-and-text jointly learned SpeechBERT model. This model outperformed the conventional approach of cascading ASR with the following text question answering (TQA) model on datasets including ASR errors in answer spans, because the end-to-end model was shown to be able to extract information out of audio data before ASR produced errors. When ensembling the proposed end-to-end model with the cascade architecture, even better performance was achieved. In addition to the potential of end-to-end SQA, the SpeechBERT can also be considered for many other spoken language understanding tasks just as BERT for many text processing tasks.

연구 동기 및 목표

• 음성 질의 응답(SQA)에서 ASR 오류로 인해 응답 구간이 손상되는 문제를 해결한다. 이는 캐스케이드 ASR+TQA 시스템의 성능을 제한한다.
• ASR를 우회하는 통합 종단 간 모델을 개발하여 SQA를 위한 음성과 텍스트 표현을 공동으로 학습한다.
• 번역 이전에 음성 신호에서 의미적 및 청각적 정보를 직접 추출할 수 있도록 모델을 설계하여 ASR 오류에 대한 내성 강화를 도모한다.
• 종단 간 SQA에서 공동 음성-텍스트 미사전훈련을 통해 캐스케이드 아키텍처와 비교해도 성능이 유사하거나 뛰어나며, 특히 오류가 발생하기 쉬운 케이스에서 성능이 뛰어나다는 것을 입증한다.
• BERT가 텍스트에 대해 일반 목적 도구로 기능하듯, SpeechBERT가 다른 음성 언어 이해 작업에 일반적으로 활용될 잠재력을 탐색한다.

제안 방법

• 대규모 음성 및 텍스트 데이터셋을 사용하여 마스크된 음성과 텍스트 모델링(MLM)을 통해 공동 음성-텍스트 모델을 미사전훈련한다. 이는 BERT의 미사전훈련 목적과 유사하다.
• 기타 ASR 시스템을 사용하여 강제 정렬을 수행하여 정답 텍스트를 기반으로 음성을 단어 수준의 단위(음성 단어)로 분할함으로써 텍스트 토큰과의 정렬을 가능하게 한다.
• 모델이 마스크된 음성 세그먼트와 해당하는 텍스트 토큰을 동시에 예측하도록 학습하여 다중 모odal 간 공유된 의미 표현을 학습한다.
• 스팬 예측 헤드를 사용한 종단 간 훈련을 통해 SQuAD 스타일의 음성 질의 응답 데이터셋에서 미사전훈련된 SpeechBERT를 미세조정한다.
• 종단 간 SpeechBERT 모델과 캐스케이드 ASR+TQA 모델을 앙상블하여 상호보완적인 지식을 통합하고 전체 성능을 향상시킨다.
• 프레임 수준의 F1과 응답 스파니 선택(AOS) 지표를 사용하여 성능을 평가하며, 특히 SQuAD-lost(ASR 오류가 있는 경우)와 Spoken SQuAD(정확히 인식된 스파니)에서 평가한다.

실험 결과

연구 질문

• RQ1 종단 간 음성-텍스트 공동 모델이 음성 질의 응답에서 표준 캐스케이드 ASR+텍스트 질의 응답 파이프라인을 능가할 수 있는가?
• RQ2 음성 신호에서 의미를 직접 학습함으로써 종단 간 모델이 응답 스팬에서 발생한 ASR 오류를 얼마나 회복할 수 있는가?
• RQ3 ASR 단어 오류율(WER)의 다양한 수준에서 종단 간 모델의 성능이 캐스케이드 모델과 비교해 어떻게 되는가?
• RQ4 마스크된 음성과 텍스트 모델링을 통한 미사전훈련이 직접 미세조정보다 후행 SQA 성능을 향상시키는가?
• RQ5 종단 간 모델과 캐스케이드 모델을 앙상블하면 개별 구성 요소보다 더 나은 성능을 내는가?

주요 결과

• Spoken SQuAD 데이터셋에서 종단 간 SpeechBERT 모델이 캐스케이드 ASR+TQA 시스템을 능가했으며, 특히 응답 스팬이 ASR에 의해 잘못 인식된 SQuAD-lost 서브셋에서 두드러진 성능 향상을 보였다.
• SQuAD-lost 서브셋에서 종단 간 모델은 캐스케이드 모델보다 유의미하게 높은 프레임 수준의 F1을 기록하여, ASR 오류 발생 이전에 음성에서 의미를 직접 학습할 수 있음을 입증했다.
• 캐스케이드 모델과 앙상블된 SpeechBERT는 Spoken SQuAD에서 최신 기술 성능을 달성했으며, 개별 구성 요소보다 뛰어난 성능을 보였다(Table 1의 (h)행 참조).
• WER가 40% 이상일수록 종단 간 모델과 캐스케이드 모델 간 성능 격차가 커져, 종단 간 모델이 ASR 오류에 더 강건함을 확인했다.
• 제거 실험 결과, 마스크된 음성과 텍스트 모델링(MLM)을 통한 미사전훈련이 필수적이었으며, 이를 제거하면 성능이 유의미하게 저하되었다(Table 1의 (f)행 대비 (e)행 참조).
• 정답 텍스트에서 유도된 더 나은 단어 경계를 사용할 경우 성능 향상이 관찰되어, 현재 성능의 제한 요소로 분할 품질이 있음을 시사했다.