[논문 리뷰] ASR-GLUE: A New Multi-task Benchmark for ASR-Robust Natural Language Understanding

Lingyun Feng, Jianwei Yu외 4명|arXiv (Cornell University)|2021. 08. 30.

Speech Recognition and Synthesis참고 문헌 48인용 수 9

한 줄 요약

이 논문은 자동 음성 인식(ASR) 오류 하에서 자연어 이해(NLU)의 견고성(로버스트니)을 평가하는 새로운 다중 작업 벤치마크인 ASR-GLUE를 소개한다. 이 벤치마크는 18개의 오디오 변형(3개의 노이즈 수준 × 6명의 화자)을 포함한 6개의 다양한 NLU 작업을 포함하며, ASR 오류—특히 유사 발음 대체와 삭제—가 NLU 성능을 심각하게 떨어뜨린다는 것을 드러낸다. BERT는 이러한 오류에 대해 제한적인 내성성을 보이며, 실제 음성 응용 분야에서 모델과 인간 간의 견고성 격차가 크다는 것을 시사한다.

ABSTRACT

Language understanding in speech-based systems have attracted much attention in recent years with the growing demand for voice interface applications. However, the robustness of natural language understanding (NLU) systems to errors introduced by automatic speech recognition (ASR) is under-examined. %To facilitate the research on ASR-robust general language understanding, In this paper, we propose ASR-GLUE benchmark, a new collection of 6 different NLU tasks for evaluating the performance of models under ASR error across 3 different levels of background noise and 6 speakers with various voice characteristics. Based on the proposed benchmark, we systematically investigate the effect of ASR error on NLU tasks in terms of noise intensity, error type and speaker variants. We further purpose two ways, correction-based method and data augmentation-based method to improve robustness of the NLU systems. Extensive experimental results and analysises show that the proposed methods are effective to some extent, but still far from human performance, demonstrating that NLU under ASR error is still very challenging and requires further research.

연구 동기 및 목표

• 실제 음성 환경에서 다양한 일반 목적의 언어 이해 작업에 대해 ASR 오류 하에서 NLU 견고성 평가를 위한 종합적인 벤치마크 부족 문제를 해결하기 위해.
• 유사 발음, 연결음, 삽입, 삭제와 같은 ASR 오류 유형이 다양한 노이즈 수준과 화자 변형에서 NLU 모델 성능에 미치는 영향을 체계적으로 분석하기 위해.
• ASR 오류 하에서 모델과 인간의 성능을 평가하여 견고성 기준을 설정하고 현재 NLU 시스템의 격차를 파악하기 위해.
• 다양한 도메인과 언어 현상에서 ASR에 견고한 NLU 모델 개발 및 평가를 위한 표준화되고 확장 가능한 테스트베드를 제공하기 위해.

제안 방법

• 저자들은 기존의 GLUE 벤치마크 작업에서 테스트 인스턴스를 선별하여 ASR-GLUE를 구축하였으며, 음성 품질과 일관성을 확보하기 위해 긴 문장이나 비표준 문장을 제외하였다.
• 6명의 모국어 화자들이 3가지 다른 노이즈 조건(낮음, 중간, 높음)에서 선택된 테스트 문장을 녹음하여 실제 음향 변동성을 시뮬레이션하였다.
• 각 6개의 NLU 작업(SST-2, STS-B, QQP, QNLI, RTE, SciTail)은 18개의 고유한 오디오 버전(3개의 노이즈 수준 × 6명의 화자)으로 처리되어 화자별 및 노이즈별 오류 영향을 분석할 수 있도록 하였다.
• 오디오 녹음에서 생성된 ASR 추론 결과를 바탕으로 오류 유형을 수작업으로 네 가지 범주로 분류: 유사 발음, 연결음, 삽입, 삭제.
• 모델 성능은 ASR 변환 텍스트에서 표준 지표(정확도, 상관계수)를 사용하여 평가되었으며, 청소된 텍스트 기준선과 비교하여 성능 저하 정도를 정량화하였다.
• 인간 평가도 동일한 노이즈 조건에서 수행되어 인간의 견고성 수준을 기준으로 삼고 모델 성능과 비교하였다.

실험 결과

연구 질문

• RQ1 유사 발음 대체, 삭제, 삽입, 연결음과 같은 다양한 유형의 ASR 오류가 최신 NLU 모델의 성능에 어떤 영향을 미치는가?
• RQ2 배경 노이즈 강도가 증가할수록 다양한 NLU 작업에서 NLU 모델의 견고성에 어떤 영향을 미치는가?
• RQ3 화자별 음성 특성(예: 음고, 발음 명확성)이 ASR 오류율과 그에 따른 NLU 성능에 어느 정도의 영향을 미치는가?
• RQ4 BERT 및 기타 최신 모델의 성능은 ASR 오류 하에서 인간 수준의 견고성과 비교해 볼 때 어떻게 저하되는가?

주요 결과

• ASR-GLUE는 유사 발음 대체와 삭제가 가장 흔한 오류 유형이며, 노이즈 강도가 증가함에 따라 뚜렷이 증가하는 것으로 드러났다. 반면 연결음과 삽입 오류는 비교적 안정된 경향을 보였다.
• BERT의 성능은 ASR 오류 하에서 심각하게 저하되었으며, 청소된 텍스트와 비교해 고노이즈, 고WER 변환 결과에서 SST-2에서 정확도가 최대 32% 감소하였다.
• 화자 간 변동성이 큰 성능 격차를 유발함: BERT의 S1(화자 1) 정확도는 S6(화자 6)보다 항상 27~32%p 높았으며, 이는 강한 화자 의존적 오류 민감도를 시사한다.
• 연결음 오류에는 상대적으로 내성성이 있으며 성능 저하가 최소한이지만, 유사 발음 및 삭제 오류는 정확도 저하에 가장 큰 영향을 미친다.
• 인간 성능은 모델 성능보다 훨씬 더 견고하며, 특히 고노이즈 조건에서 두드러진다. 이는 현재 NLU 모델과 인간 간의 견고성 격차가 크다는 것을 시사한다.
• 벤치마크는 일반 목적의 모델에 대해 ASR 오류 하에서 NLU가 여전히 매우 도전적인 문제임을 입증하며, 다중 작업 및 다중 견고성 훈련 접근법의 필요성을 강조한다.