[논문 리뷰] Open Challenge for Correcting Errors of Speech Recognition Systems

Marek Kubis, Zygmunt Vetulani외 2명|arXiv (Cornell University)|2020. 01. 09.

Advanced Data Processing Techniques인용 수 5

한 줄 요약

이 논문은 오디오 접근 없이 ASR 가설과 기준 번역문만을 사용하여 자동 음성 인식(ASR) 오류를 수정하는 개방형 챌린지를 제안한다. 참가자들은 기계 학습 기법을 활용해 ASR 출력을 향상시키는 모델을 개발하며, 폴란드어 데이터셋(학습 문장 8,142개, 테스트 문장 1,000개)을 기반으로 관련 연구에서 최대 19%의 상대적 WER 향상을 달성하였다.

ABSTRACT

The paper announces the new long-term challenge for improving the performance of automatic speech recognition systems. The goal of the challenge is to investigate methods of correcting the recognition results on the basis of previously made errors by the speech processing system. The dataset prepared for the task is described and evaluation criteria are presented.

연구 동기 및 목표

• 시스템의 잘못된 출력과 정확한 기준 번역문만을 사용하여 자동 음성 인식(ASR) 오류를 수정하는 방법을 개발하기 위해.
• 오디오 접근 없이 기존 ASR 파이프라인 외의 다양한 기계 학습 및 NLP 접근법을 장려하기 위해, 오디오 없이 제공되는 데이터셋을 제공하기 위해.
• 과거 오류로부터의 자기학습을 통해 ASR 성능을 향상시키고, 스스로 진화하고 자동으로 적응하는 시스템을 가능하게 하기 위해.
• WER, SRR, CharMatch-F0.5와 같은 표준화된 평가 지표를 사용하여 ASR 오류 보정을 위한 벤치마크를 수립하기 위해.
• 오류가 치명적인 분야인 위기 관리 및 가상 비서와 같이 자원이 부족하거나 노이즈가 많은 환경에서의 연구를 지원하기 위해.

제안 방법

• 폴란드 위키뉴스에서 유래한 총 9,142개 문장의 데이터셋을 제공하며, 각 문장은 두 명의 모국어 사용자가 ASR 시스템에 읽어넣었다.
• 각 데이터 샘플에는 다음이 포함된다: (1) ASR 가설(오류가 있는 출력), (2) 기준 번역(정확한 버전), (3) 고유 식별자, (4) 출처 기재.
• 텍스트 정규화 적용: 모든 단어는 대문자로 변환되며, 하이픈 이외의 구두점은 제거되고, 숫자 및 특수 문자는 해당 읽기 방식으로 대체된다.
• 데이터셋은 학습용 8,142개, 테스트용 1,000개로 분할되며, 평균 WER는 각각 3.94와 4.01이다.
• 참가자들은 오디오 또는 음향 특징 없이, 오직 가설과 기준 번역문만을 사용하여 ASR 가설을 수정된 출력으로 매핑하는 시스템을 제출한다.
• 평가에서는 Gonito 플랫폼을 사용하며, 세 가지 지표를 사용한다: 단어 오류율(WER), 문장 인식률(SRR), Levenshtein 거리 기반 F0.5 기반의 CharMatch 측정법.

실험 결과

연구 질문

• RQ1 오디오 접근 없이 잘못된 가설과 정확한 기준 번역문만을 사용하여 기계 학습 모델이 얼마나 효과적으로 ASR 오류를 수정할 수 있는가?
• RQ2 특히 자원이 부족하거나 노이즈가 많은 조건에서, 다양한 NLP 및 ML 기법—특히 순서-순서 모델과 SMT—의 ASR 오류 보정에 대한 효과는 어떠한가?
• RQ3 과거 오류로부터의 자기학습이 위기 관리와 같이 고위험 응용 분야에서 WER를 상당히 감소시킬 수 있는가?
• RQ4 WER, SRR, CharMatch-F0.5와 같은 다양한 평가 지표는 오류 보정 작업에서 실제 성능과 얼마나 상관이 있는가?
• RQ5 텍스트 수준의 지도만 제공될 경우, 모델 아키텍처와 학습 데이터 크기의 보정 성능에 대한 영향은 어떠한가?

주요 결과

• 데이터셋은 폴란드 위키뉴스에서 유래한 9,142개의 문장 쌍을 포함하며, 학습 세트에는 8,142개, 테스트 세트에는 1,000개가 포함되어 있으며, 일관된 비교를 위해 정규화되었다.
• 테스트 세트의 평균 WER는 4.01이며, 문장당 약 4%의 기준 오류율을 나타내며, 문장 오류율은 0.75이다.
• 기존 연구에서 SMT 기반 모델을 사용하여 상대적 WER 향상률이 10.5%에 달했으며, 2,000개 샘플의 작은 코퍼스에서 WER를 11.4%에서 10.2%로 감소시켰다.
• 4,000만 개의 TTS 생성 발화를 기반으로 훈련한 LSTM 기반 순서-순서 모델은 19%의 상대적 WER 향상률을 달성했으며(기준 WER: 6.03%),
• 추가로 언어 모델 재평가를 적용한 동일한 모델은 29%의 상대적 WER 향상률을 기록했으며, 외부 언어 모델링의 가치를 입증했다.
• CharMatch-F0.5 지표는 수정 작업의 정밀도와 재현율을 측정하기 위해 설계되었으며, T_i는 가설-기준, 가설-출력, 출력-기준 간의 Levenshtein 거리 평균으로 계산된다.