[논문 리뷰] Large Scale Language Modeling in Automatic Speech Recognition

Ciprian Chelba, Dan Bikel외 3명|arXiv (Cornell University)|2012. 10. 31.

Speech Recognition and Synthesis참고 문헌 11인용 수 37

한 줄 요약

이 논문은 대규모 n-gram 언어 모델이 다양한 작업에서 자동 음성 인식(ASR) 성능을 크게 향상시킨다는 것을 입증한다. 망원형 재평가 기법을 사용하고 분산 언어 모델 아키텍처를 활용하여, 최대 2300억 단어의 거대한 데이터셋에서 훈련한 결과, 단어 오류율(WER)을 6%에서 10%까지 상대적으로 감소시켰으며, 유튜브 번역과 같은 고오류율 환경에서는 최대 10% 상대적 향상까지 기록했다.

ABSTRACT

Large language models have been proven quite beneficial for a variety of automatic speech recognition tasks in Google. We summarize results on Voice Search and a few YouTube speech transcription tasks to highlight the impact that one can expect from increasing both the amount of training data, and the size of the language model estimated from such data. Depending on the task, availability and amount of training data used, language model size and amount of work and care put into integrating them in the lattice rescoring step we observe reductions in word error rate between 6% and 10% relative, for systems on a wide range of operating points between 17% and 52% word error rate.

연구 동기 및 목표

• 실세계 자동 음성 인식(ASR) 시스템에 대규모 언어 모델이 미치는 영향을 평가하는 것.
• 언어 모델 크기와 훈련 데이터 볼륨을 증가시킬 경우 ASR 성능에 어떤 영향을 미치는지 조사하는 것.
• 대규모 언어 모델을 사용한 망원형 재평가가 단어 오류율(WER)을 향상시키는 데 효과적인지 검증하는 것.
• 웹 크롤링 및 방송 뉴스 데이터와 같은 다양한 훈련 데이터 소스가 언어 모델의 강건성에 기여하는 정도를 정량화하는 것.
• 고도로 발전한 음향 모델링 기법(예: 심층 신뢰망(DBNs))으로 인한 향상과 대비하여 대규모 언어 모델이 가져오는 성능 향상의 크기를 비교하는 것.

제안 방법

• 익명화된 구글 검색 쿼리에서 최대 2300억 단어의 텍스트를 기반으로 3-그램 및 5-그램 언어 모델을 훈련하는 것.
• 성능을 유지하면서 모델 크기를 줄이기 위해 엔트로피 프루닝을 적용하며, 모델 크기는 1,500만에서 15억 개의 n-그램으로 다양하다.
• 완전한 제1단계 디코딩이 필요 없이 매우 큰 모델을 평가할 수 있도록 분산 언어 모델 아키텍처를 사용해 망원형 재평가를 구현하는 것.
• Kneser-Ney 스무딩과 여러 언어 모델 구성 요소(예: 웹 크롤링, 방송 뉴스, 음성 전사 데이터)의 선형 통합을 사용하는 것.
• ASR 성능을 최대화하기 위해 보류된 테스트 세트에서 MERT(최소 오류율 훈련)를 사용해 통합 가중치를 최적화하는 것.
• 작은 제1단계 언어 모델을 사용해 생성된 망원형에 대해 재평가를 적용하여 매우 큰 언어 모델의 평가를 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 거대한 텍스트 코퍼스에서 훈련된 언어 모델의 크기를 증가시킬 경우 ASR에서 단어 오류율(WER)에 어떤 영향을 미치는가?
• RQ2 대규모 언어 모델을 사용한 망원형 재평가가 큰 모델을 사용한 제1단계 디코딩의 성능을 어느 정도 재현할 수 있는가?
• RQ3 웹 크롤링 텍스트와 정제된 방송 뉴스 데이터는 다양한 ASR 작업에서 언어 모델 성능에 어떤 기여를 하는가?
• RQ4 통합 가중치와 모델 통합 전략이 재평가 파이프라인의 최종 WER에 어떤 영향을 미치는가?
• RQ5 대규모 언어 모델이 심층 신경망 음향 모델(예: 심층 신뢰망(DBNs))과 비교해 유사한 WER 향상 효과를 낼 수 있는가?

주요 결과

• 음성 검색 작업에서 16억 개의 n-그램 5-그램 언어 모델을 사용할 경우, 1,500만 개의 n-그램 3-그램 모델 대비 WER이 10% 상대적으로 감소하였으며, 절대 감소율은 1.8%였다.
• 127억 개의 n-그램 5-그램 언어 모델을 사용한 망원형 재평가로 음성 검색에서 WER이 16.8%로 측정되었으며, 이는 큰 모델을 사용한 제1단계 디코딩 성능과 동일했다.
• 2011년 유튜브 테스트 세트에서 56억 개의 n-그램 4-그램 언어 모델을 사용한 재평가로 WER이 절대적으로 3.2% 감소(상대적으로 6%)했으며, MERT 최적화 가중치가 가장 우수한 성능을 냈다.
• 2008년 유튜브 테스트 세트에서 190억 개의 n-그램 4-그램 언어 모델을 사용한 재평가로 WER이 34.6%에서 31.8%로 감소하여 절대적으로 2.8% 감소(상대적으로 8%)의 향상이 있었다.
• 웹 크롤링 텍스트의 기여는 매우 컸다: 이 데이터를 제거하면 WER이 절대적으로 1.2% 증가하여, 다양하고 풍부한 어휘를 확보하는 데서 중요한 역할을 한다는 점이 확인되었다.
• 대규모 언어 모델을 통한 재평가로 인한 성능 향상은 심층 신경망 음향 모델의 향상과 유사했으며, 다양한 운영 조건에서 WER이 6–9% 상대적으로 감소하였다.