[논문 리뷰] Semantic-WER: A Unified Metric for the Evaluation of ASR Transcript for End Usability

Somnath Roy|arXiv (Cornell University)|2021. 06. 03.

Speech Recognition and Synthesis참고 문헌 25인용 수 6

한 줄 요약

이 논문은 말의 의미적 중요도를 반영한 가중치를 도입하여 단어 오류율(WER)을 향상시킨 통합적 평가 지표인 Semantic-WER(SWER)를 제안한다. 특히 명명된 실체 인식 및 감성 분석과 같은 작업에서의 후속 사용성에 영향을 미치는 단어에 대해 의미적 중요도를 반영하여 가중치를 할당함으로써, 인간 평가 결과와의 상관관계를 향상시킨다. 중요한 단어(예: 명명된 실체 또는 감성 어휘)에 대해 높은 가중치를 할당함으로써 SWER는 WER보다 인간 판단과 더 밀접한 관련을 가지며, 기본 가중치를 사용할 경우 인간 평가 점수(HWER)와 상관계수 0.85를 기록한다.

ABSTRACT

Recent advances in supervised, semi-supervised and self-supervised deep learning algorithms have shown significant improvement in the performance of automatic speech recognition(ASR) systems. The state-of-the-art systems have achieved a word error rate (WER) less than 5%. However, in the past, researchers have argued the non-suitability of the WER metric for the evaluation of ASR systems for downstream tasks such as spoken language understanding (SLU) and information retrieval. The reason is that the WER works at the surface level and does not include any syntactic and semantic knowledge.The current work proposes Semantic-WER (SWER), a metric to evaluate the ASR transcripts for downstream applications in general. The SWER can be easily customized for any down-stream task.

연구 동기 및 목표

• ASR 전사본의 후속 사용성 평가에서 WER의 한계를 해결하기 위해, 특히 SLU 및 정보 검색과 같은 작업에서의 적용을 목적으로 한다.
• 의미 이해에 대한 실제 영향을 반영하는 통합적이고 사용자 정의 가능한 평가 지표를 개발하기 위해이다.
• 기능어보다 중요한 단어(예: 명명된 실체 또는 감성 어휘)에서의 오류에 대해 더 무거운 가중치를 적용함으로써 평가의 정밀도를 향상시키기 위해이다.
• 지표가 [0, 1] 범위 내에서 유한하게 유지되고 인간이 느끼는 오류 심각도와 더 잘 일치하도록 하기 위해이다.
• CRM 데이터를 활용하는 조직이 사용할 수 있는 실용적이고 확장 가능한 프레임워크를 제공하기 위해, 고유명사의 철자 오류에 대해 부분적으로 용인할 수 있도록 하기 위해이다.

제안 방법

• SWER는 단어 수준의 중요도 가중치(IW)를 도입하여 WER를 확장함으로써, 문장 전체 의미에 미치는 단어의 의미적 영향을 반영한다.
• 중요도 가중치는 의미적 거리와 문장의 의도에 미치는 영향(특히 명명된 실체 및 감성 어휘의 경우)에 기반하여 계산된다.
• 실체의 경우, 구성 가능한 할인 기능을 제공하여(예: 'harvey'와 같이 발음된 이름에서 한 글자를 누락한 경우에 더 낮은 벌점 적용), CRM 데이터를 활용해 컨텍스트 인식 오류 용인도 가능하다.
• 지표는 참조 문장과 가설 문장의 길이를 모두 고려하여 오류 수를 정규화함으로써, 기존 WER와 달리 [0, 1] 범위 내에서 유한한 출력을 보장한다.
• SWER는 사용자 정의 가능하다: 의미적 거리가 부족한 특정 단어나 어구에 대해 사용자가 맞춤형 중요도 가중치를 정의할 수 있다.
• 방법론은 단어 수준의 편집을 Levenshtein 정렬을 통해 처리하지만, 영향을 받은 단어의 중요도에 따라 대체, 삭제, 삽입의 가중치를 재조정한다.

실험 결과

연구 질문

• RQ1 WER는 감성 분석 및 명명된 실체 인식과 같은 후속 작업에서 ASR 전사본의 진정한 사용성 여부를 어떻게 반영하지 못하는가?
• RQ2 의미적 중요도 가중치를 통합할 경우, 자동 평가 지표와 인간 평가의 상관관계가 얼마나 향상되는가?
• RQ3 실제 세계에서 ASR 오류의 영향을 더 잘 반영하면서도 [0, 1] 범위 내에서 유한한 통합적이고 사용자 정의 가능한 지표를 설계할 수 있는가?
• RQ4 SWER는 명명된 실체나 감성 관련 문장에서 WER 및 인간 평가(HWER)와 비교해 어떻게 성능을 발휘하는가?
• RQ5 다양한 수의 명명된 실체를 포함한 문장들에서 SWER의 최적 기본 중요도 가중치는 무엇인가?

주요 결과

• 기본 중요도 가중치(IW=1)를 사용한 SWER는 인간 평가 점수(HWER)와 상관계수 0.85를 기록하며, 표준 WER가 0.7 이하에 머무르는 것과 비교해 유의미하게 뛰어난 성능을 보였다.
• 명명된 실체가 하나인 문장(Cat-I)의 경우, SWER_IW=1이 HWER와 가장 높은 상관관계를 보였으며, 이는 기본 가중치가 단순한 경우에 효과적임을 시사한다.
• 두 개 이상의 실체를 포함한 문장(Cat-II 및 Cat-III)의 경우, IW=2를 사용한 SWER가 IW=1보다 HWER와 더 높은 상관관계를 보였으며, 이는 복잡한 문장에서는 더 높은 가중치가 필요함을 시사한다.
• 명명된 실체가 부분적으로 전사된 경우(예: 'h r v e y' → 'h a r v e y'), SWER는 구성 가능한 실체 수준 할인 기능을 통해 벌점 감소를 적용함으로써 실제 세계의 오류 용인 수준을 반영한다.
• 동일한 WER를 가진 가설들(예: 'thank you' vs. 'f*ck you') 간의 의미적 영향을 효과적으로 구분하며, 더 의미적으로 해로운 오류에 대해 더 높은 SWER를 할당한다.
• 오류 점수의 분포 분석 결과, SWER는 인간의 인지와 더 밀접한 관련을 가지며, 모든 카테고리에서 SWER와 HWER 간의 일치도가 WER와 HWER 간의 일치도보다 유의미하게 높게 나타났다.