[논문 리뷰] Semantic Distance: A New Metric for ASR Performance Analysis Towards Spoken Language Understanding

Suyoun Kim, Abhinav Arora외 5명|arXiv (Cornell University)|2021. 04. 05.

Topic Modeling참고 문헌 29인용 수 5

한 줄 요약

이 논문은 RoBERTa 기반 문장 임베딩을 사용하여 참조 및 가설 번역 간의 의미 유사도를 측정하는 새로운 ASR 평가 지표인 의미 거리(SemDist)를 제안한다. WER와 달리 SemDist는 후행 NLU 성능과 더 잘 상관되며, WER가 그대로일 때도 낮은 SemDist가 높은 의도 정확도, 엔티티 인식 F1 및 의미 구문 분석 품질을 예측함을 보여준다.

ABSTRACT

Word Error Rate (WER) has been the predominant metric used to evaluate the performance of automatic speech recognition (ASR) systems. However, WER is sometimes not a good indicator for downstream Natural Language Understanding (NLU) tasks, such as intent recognition, slot filling, and semantic parsing in task-oriented dialog systems. This is because WER takes into consideration only literal correctness instead of semantic correctness, the latter of which is typically more important for these downstream tasks. In this study, we propose a novel Semantic Distance (SemDist) measure as an alternative evaluation metric for ASR systems to address this issue. We define SemDist as the distance between a reference and hypothesis pair in a sentence-level embedding space. To represent the reference and hypothesis as a sentence embedding, we exploit RoBERTa, a state-of-the-art pre-trained deep contextualized language model based on the transformer architecture. We demonstrate the effectiveness of our proposed metric on various downstream tasks, including intent recognition, semantic parsing, and named entity recognition.

연구 동기 및 목표

• 후행 자연어 이해(NLU) 작업을 위한 ASR 시스템 평가에서 단어 오류율(WER)의 한계를 해결하기 위해.
• 순수한 단어 수준 정확도가 아니라 의미 정확도를 캡처하는 지표를 개발하기 위해.
• 문장 임베딩 공간에서의 의미 유사도가 WER보다 NLU 성능과 더 강하게 상관되는지 평가하기 위해.
• 동일한 WER를 가진 ASR 가설들 간의 의미적 유사도를 구분할 수 있음을 보여주어 모델 선택을 안내할 수 있음을 입증하기 위해.
• 향후 엔드 투 엔드 ASR 시스템에서 SemDist를 학습 목표로 사용할 잠재력을 탐색하기 위해.

제안 방법

• 최신의 사전 훈련된 트랜스포머 기반 언어 모델인 RoBERTa를 사용하여 참조 및 가설 쌍의 문맥 기반 문장 임베딩을 생성한다.
• 참조 및 ASR 가설의 문장 임베딩 간의 코사인 유사도를 의미 거리로 계산한다.
• SemDist를 코사인 유사도의 보완(1 - 코사인 유사도)으로 정의하여, 낮은 값일수록 더 높은 의미 유사도를 의미하도록 한다.
• 강력하고 의미적으로 풍부한 문장 표현을 확보하기 위해 대규모 사전 훈련 코퍼스에서 RoBERTa를 훈련 및 미세조정한다.
• 결과로 도출된 임베딩 모델을 사용하여 다양한 도메인과 NLU 작업에서 ASR 테스트 세트의 발화를 인코딩하고, 여러 도메인에서 SemDist를 계산한다.
• 의도 인식, 명명된 실체 인식(NER), 의미 구문 분석 등 다양한 후행 NLU 작업에서 SemDist와 WER를 비교한다.

실험 결과

연구 질문

• RQ1 의미 거리(SemDist)가 단어 오류율(WER)보다 후행 NLU 성능과 더 강하게 상관되는가?
• RQ2 동일한 WER를 가졌지만 의미 품질이 다른 ASR 가설들을 SemDist가 구분할 수 있는가?
• RQ3 다양한 ASR 시스템 변종에서 SemDist는 의도 인식 정확도와 NER F1 점수 예측에 얼마나 잘 작동하는가?
• RQ4 단어 수준 오류가 동등하게 영향을 주지 않을 경우, SemDist는 참조 및 가설 발화 간 진정한 의미 유사도를 얼마나 잘 반영하는가?
• RQ5 SemDist는 모델 선택을 향상시키거나 엔드 투 엔드 ASR 시스템에서 학습 목표로 사용될 수 있는가?

주요 결과

• SemDist는 NLU 성능과 강한 정적 상관관계를 보이며, 어시스턴트 도메인에서는 의도 정확도(r = 0.72)와 EM(r = 0.65)와 상관관계가 있어 예측 능력이 뛰어나다.
• 동일한 WER일 경우, SemDist가 낮을수록 NER F1 점수가 높게 나타난다. 예를 들어, Set C는 SemDist = 0.0028일 때 F1 점수 0.846을 기록한 반면, Set B는 SemDist = 0.0044일 때 F1 점수 0.590을 기록한다.
• 의도 인식에서 Set C는 SemDist = 0.0017일 때 96.22%의 의도 정확도를 기록했고, Set B는 SemDist = 0.0030일 때 94.28%를 기록했으며, WER는 동일하다. 이는 Set C가 유의미하게 뛰어난 성능을 보임을 의미한다.
• SemDist는 의미의 미묘한 차이를 효과적으로 포착한다. 예를 들어, 'he is so cute'는 SemDist = 0.0031로 'she is so cute'보다 더 의미적으로 유사하며, 'heat is so cute'는 SemDist = 0.0112로 더 멀리 떨어져 있다. 이는 둘 다 동일한 WER를 가짐에도 불구하고 의미적 유사도가 다르다는 것을 보여준다.
• SemDist는 'had not'(SemDist = 0.0219)이 'had new clubs'(SemDist = 0.0167)보다 더 의미적으로 거리가 멀다고 판단한다. 이는 후자가 참조에 더 가까운 발음이지만 의미적 유사도 측면에선 더 낮은 SemDist를 기록하기 때문이다.
• 이 지표는 의미적으로 타당한 가설과 단어 중요도를 기반으로 가설을 효과적으로 구분한다. 예를 들어, 'aw/or'과 'aw/oh'의 맥락에서 의미적으로 중요한 어휘를 정확히 구분하여 민감도를 보여준다.