[논문 리뷰] ASR Context-Sensitive Error Correction Based on Microsoft N-Gram Dataset

Youssef Bassil, Paul Semaan|arXiv (Cornell University)|2012. 03. 23.

Natural Language Processing Techniques참고 문헌 19인용 수 18

한 줄 요약

이 논문은 실생활 웹 기반 n-그램 데이터를 활용하여 자동 음성 인식(ASR) 시스템의 문맥 민감한 오류 보정 방법을 제안한다. Microsoft N-Gram 데이터셋을 사용해 철자 오류를 탐지하고 보정하며, 실제 웹에서 유래한 n-그램을 활용해 강력한 어휘 커버리지를 확보한다. 오류 탐지, 후보 생성, 문맥 기반 선택의 세 단계를 거치며, 다양한 음성 입력에서 상당한 ASR 오류 감소를 달성한다.

ABSTRACT

At the present time, computers are employed to solve complex tasks and problems ranging from simple calculations to intensive digital image processing and intricate algorithmic optimization problems to computationally-demanding weather forecasting problems. ASR short for Automatic Speech Recognition is yet another type of computational problem whose purpose is to recognize human spoken speech and convert it into text that can be processed by a computer. Despite that ASR has many versatile and pervasive real-world applications,it is still relatively erroneous and not perfectly solved as it is prone to produce spelling errors in the recognized text, especially if the ASR system is operating in a noisy environment, its vocabulary size is limited, and its input speech is of bad or low quality. This paper proposes a post-editing ASR error correction method based on MicrosoftN-Gram dataset for detecting and correcting spelling errors generated by ASR systems. The proposed method comprises an error detection algorithm for detecting word errors; a candidate corrections generation algorithm for generating correction suggestions for the detected word errors; and a context-sensitive error correction algorithm for selecting the best candidate for correction. The virtue of using the Microsoft N-Gram dataset is that it contains real-world data and word sequences extracted from the web which canmimica comprehensive dictionary of words having a large and all-inclusive vocabulary. Experiments conducted on numerous speeches, performed by different speakers, showed a remarkable reduction in ASR errors. Future research can improve upon the proposed algorithm so much so that it can be parallelized to take advantage of multiprocessor and distributed systems.

연구 동기 및 목표

• 노이즈가 많거나 저품질의 음성 조건에서 지속적으로 발생하는 철자 오류를 해결하기 위해.
• 문맥 기반 언어 모델을 활용해 ASR 전사 결과의 후처리를 향상시키고, 단어 수준의 오류를 탐지 및 보정하기 위해.
• 포괄적인 어휘 커버리지와 보정 정확도 향상을 위해 대규모 실생활 n-그램 데이터를 활용하기 위해.
• 오류 탐지, 후보 생성, 문맥 기반 선택의 세 단계 보정 파이프라인을 개발하기 위해.

제안 방법

• 자연어 패턴을 모델링하기 위해 실생활 웹 기반의 단어 시퀀스와 빈도 통계를 제공하는 Microsoft N-Gram 데이터셋을 사용한다.
• ASR 출력에서 가능성이 높은 철자 오류를 식별하기 위해 규칙 기반 및 통계 기반 오류 탐지 알고리즘을 적용한다.
• 원래 단어의 발음 유사성과 n-그램 문맥을 활용해 보정 후보를 생성한다.
• n-그램 확률과 주변 단어 문맥을 기반으로 후보를 순위 매기는 문맥 기반 선택 메커니즘을 적용한다.
• 주어진 문장 문맥에서 후보 보정의 가능성을 평가하기 위해 트리그램 이상의 고차원 n-그램을 활용한다.
• ASR 전사 결과의 후처리 프레임워크에 보정 파이프라인을 통합한다.

실험 결과

연구 질문

• RQ1 실생활 n-그램 데이터는 ASR 유도 철자 오류의 탐지 및 보정에 기여하는가?
• RQ2 문맥 기반 선택은 다수의 후보 중 가장 타당한 보정을 선택하는 데 얼마나 효과적인가?
• RQ3 작은 어휘집 대비 Microsoft N-Gram 데이터셋을 사용할 경우 어휘 커버리지와 보정 정확도 향상 정도는 어떠한가?
• RQ4 제안된 방법은 다양한 화자와 음성 품질 조건에서 ASR 오류율을 감소시킬 수 있는가?
• RQ5 고차원 n-그램 사용이 보정 정밀도와 재현율에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 다양한 화자로부터의 여러 음성 샘플에서 ASR 오류율을 상당히 감소시켰다.
• Microsoft N-Gram 데이터의 사용으로 어휘 커버리지가 포괄적으로 향상되어 희귀어나 OOV(Out-of-Vocabulary) 단어의 탐지가 향상되었다.
• 문장 수준의 문맥을 활용함으로써 문맥 기반 보정 선택이 단순한 어휘 매칭보다 뛰어난 성능을 보였다.
• 오류 탐지 모듈은 저품질 또는 노이즈가 많은 음성 입력에서도 철자 오류를 효과적으로 식별했다.
• 시스템은 다양한 음성 품질과 화자 특성에 걸쳐 뛰어난 강건성을 보였다.
• 미래 연구 방향으로 대규모 또는 실시간 ASR 보정을 위해 병렬 처리 가능성이 제안된다.