[논문 리뷰] Spoken SQuAD: A Study of Mitigating the Impact of Speech Recognition Errors on Listening Comprehension

Chia-Hsuan Li, Szu-Lin Wu외 2명|arXiv (Cornell University)|2018. 04. 01.

Topic Modeling참고 문헌 27인용 수 28

한 줄 요약

이 논문은 SQuAD 데이터셋에서 유래한 음성 인식(ASR) 번역문을 대상으로 기계적 독해 이해 능력을 평가하는 새로운 听력 이해 과제인 Spoken SQuAD를 소개한다. ASR 오류가 모델 성능을 심각하게 악화시킴을 입증하고, 이러한 오류를 완화하기 위한 효과적인 방법으로 음소와 음절 수준의 표현을 제안한다. 음소/음절 임베딩을 사용하는 모델은 노이즈가 많은 테스트 세트에서 최대 38.46%의 F1 점수를 기록하였다.

ABSTRACT

Reading comprehension has been widely studied. One of the most representative reading comprehension tasks is Stanford Question Answering Dataset (SQuAD), on which machine is already comparable with human. On the other hand, accessing large collections of multimedia or spoken content is much more difficult and time-consuming than plain text content for humans. It's therefore highly attractive to develop machines which can automatically understand spoken content. In this paper, we propose a new listening comprehension task - Spoken SQuAD. On the new task, we found that speech recognition errors have catastrophic impact on machine comprehension, and several approaches are proposed to mitigate the impact.

연구 동기 및 목표

• 청취 이해를 평가하기 위해 ASR로 변환된 텍스트를 사용하는 새로운 벤치마크를 설정하고, SQuAD 데이터셋을 확장하여 청취 이해 능력을 평가한다.
• 자동 음성 인식(ASR) 오류가 기계적 독해 이해 모델에 미치는 악영향을 조사한다.
• 특히 서브워드 수준의 표현을 통해 ASR 오류에 대한 강건성을 향상시키기 위한 기법을 개발하고 평가한다.
• 다양한 노이즈 수준을 포함하여 실제 음성 품질 저하를 시뮬레이션할 수 있는 표준화된 평가 프로토콜을 제공한다.

제안 방법

• Google의 텍스트-음성 시스템을 사용해 SQuAD 기사의 음성 버전을 생성하고, CMU Sphinx를 통해 ASR 번역문을 확보하여 테스트 세트에서 WER가 22.73%인 데이터셋을 구축하였다.
• 모델이 ASR 번역문에서 테스트되도록 새로운 평가 프로토콜을 구성하였으며, 성능 측정은 정확도 일치(EM), F1, AOS(Answer Overlap Score)를 사용하였다.
• 음소와 음절을 사용한 서브워드 수준의 임베딩을 제안하였으며, CNN 기반 네트워크를 통해 ASR 오류에 더 강건한 분산 표현을 생성하였다.
• BiDAF 기반 독해 모델에 서브워드 임베딩(음소, 음절)을 단어 및 문자 임베딩과 결합하여 강건성을 향상시켰다.
• 청결한 및 노이즈가 있는 ASR 번역문에서 모델을 훈련하고 평가하였으며, 노이즈 수준을 높여 WER를 각각 44.22%와 54.82%로 증가시켰다.
• 음소-CNN는 필터 크기 3x6, 80개 필터를 사용하였고, 음절-CNN는 필터 크기 2x20, 100개 필터를 사용하여 서브워드 단위에서의 문맥 표현을 학습하였다.

실험 결과

연구 질문

• RQ1 자동 음성 인식(ASR) 오류는 청취 콘텐츠에서 최신 독해 이해 모델의 성능에 어떻게 영향을 미치는가?
• RQ2 음소와 음절과 같은 서브워드 수준의 표현은 QA 모델의 ASR 오류에 대한 강건성을 향상시킬 수 있는가?
• RQ3 다른 서브워드 표현 방식(단어, 문자, 음소, 음절) 중에서 ASR 오류 영향 완화에 있어 상대적 효과는 어떠한가?
• RQ4 실제 음성 환경에서 WER로 측정된 ASR 오류 수준이 증가함에 따라 모델 성능은 어떻게 저하되는가?
• RQ5 다양한 서브워드 단위(예: 단어 + 음소 + 음절)를 동시에 모델링하면 노이즈가 많은 ASR 입력에서 더 우수한 일반화 성능을 달성할 수 있는가?

주요 결과

• ASR 오류는 QA 모델에 치명적인 영향을 미친다: 청결한 텍스트로 훈련하고 ASR 번역문에서 테스트한 BiDAF 및 Dr.QA 모델은 성능이 심각하게 저하되었다.
• 청결한 텍스트 대신 ASR 번역문으로 훈련하면 강건성이 향상되었으며, 청결한 테스트 세트에서는 33.53%의 F1 점수, 노이즈가 있는 버전(44.22% WER)에서는 29.73%의 F1 점수를 기록하였다.
• 특히 음소 및 음절 시퀀스로 구성된 서브워드 수준의 임베딩이 표준 단어 및 문자 임베딩보다 뚜렷이 뛰어난 성능을 보였으며, 음소+음절+문자+단어 임베딩을 조합한 모델은 가장 높은 노이즈 테스트 세트에서 38.46%의 F1 점수를 기록하였다.
• 모든 WER 수준에서 단어, 문자, 음소, 음절 임베딩을 모두 조합한 모델이 가장 우수한 성능을 보였으며, 54.82% WER 테스트 세트에서 38.46%의 F1 점수를 기록하였다.
• 정성 분석을 통해 서브워드 임베딩을 사용한 모델은 ASR 오류가 있음에도 불구하고 정답을 올바르게 식별하는 것으로 확인되었으며(예: 'area' 대신 'harry'로 인식됨), 단어 임베딩에만 의존하는 모델는 실패하였다.
• Dropout 정규화는 강건성을 향상시켰지만, 서브워드 임베딩는 훨씬 더 큰 성능 향상을 가져왔으며, 이는 ASR 노이즈 처리에 있어 그 효과가 뛰어나다는 것을 시사한다.