[논문 리뷰] Acoustic data-driven lexicon learning based on a greedy pronunciation selection framework

Xiaohui Zhang, Vimal Manohar외 2명|arXiv (Cornell University)|2017. 06. 12.

Speech Recognition and Synthesis참고 문헌 16인용 수 5

한 줄 요약

이 논문은 청각 데이터에서 압축되고 높은 성능을 보이는 어휘를 학습하기 위해 그래프음소에서 발음으로(정규화) 변환(G2P) 및 발음 디코딩 출력을 결합한 탐욕스럽고 가능도 기반의 발음 후보자르기 프레임워크를 제안한다. 가능도 감소가 가장 작은 후보를 반복적으로 제거함으로써, 전문가 어휘에 가까운 WER 성능을 달성하면서도 단어당 평균 발음 수를 약 5에서 1.42로 감소시킨다.

ABSTRACT

Speech recognition systems for irregularly-spelled languages like English normally require hand-written pronunciations. In this paper, we describe a system for automatically obtaining pronunciations of words for which pronunciations are not available, but for which transcribed data exists. Our method integrates information from the letter sequence and from the acoustic evidence. The novel aspect of the problem that we address is the problem of how to prune entries from such a lexicon (since, empirically, lexicons with too many entries do not tend to be good for ASR performance). Experiments on various ASR tasks show that, with the proposed framework, starting with an initial lexicon of several thousand words, we are able to learn a lexicon which performs close to a full expert lexicon in terms of WER performance on test data, and is better than lexicons built using G2P alone or with a pruning criterion based on pronunciation probability.

연구 동기 및 목표

• 저자원 환경에서 말하기 인식에서 외부어휘(Out-of-Vocabulary, OOV) 어휘의 정확하고 압축된 발음 어휘를 구축하는 데 도전한다.
• G2P 모델과 가능도 기반 자르기의 한계를 극복하여 과도하게 많은 소수의 발음 변형을 유지하는 문제를 해결한다.
• 청각 증거와 발음 다양성을 모두 활용하여 최적의 후보를 선택하는 데이터 기반 방법을 개발한다.
• 특히 저자원 환경에서 ASR 성능을 저하시키지 않으면서 어휘 크기를 줄인다.
• 가능도 기반 자르기가 가능도 기반 또는 G2P 전용 접근 방식보다 더 나은 WER 성능을 낼 수 있음을 입증한다.

제안 방법

• 소규모 전문 어휘와 정렬된 학습 데이터에서 훈련된 G2P 모델 및 발음 디코딩을 통해 OOV 어휘의 발음 후보를 생성한다.
• 각 OOV 어휘에 대해 G2P 및 발음 디코딩 후보를 병합하여 통합 어휘를 구성한다.
• 청각 모델을 사용하여 라티스에서 조건부 가능도 τ_uwb = p(O_u|w,b)를 계산함으로써 청각 증거를 수집한다.
• 탐욕스럽고 가능도 감소 기반의 자르기 기준을 적용한다: 반복적으로 단어 w에 대해 총 가능도 ∑_u τ_uwb의 감소가 가장 작은 후보 b를 제거한다.
• 수렴할 때까지 반복적으로 개선된 압축 어휘를 ASR 디코딩에 사용한다.
• 공정한 비교를 위해 모든 어휘 조건에서 동일한 레시피로 청각 모델(SAT 및 LF-MMI)을 훈련시킨다.

Figure 1: The proposed framework of acoustic-data driven lexicon learning.

실험 결과

연구 질문

• RQ1 가능도 기반 자르기 기준이 OOV 어휘의 발음 후보 선택에서 가능도 기반 자르기보다 우수한가?
• RQ2 G2P와 발음 디코딩 후보를 결합하면 G2P 전용에 비해 어휘 품질이 향상되는가?
• RQ3 1.42개의 평균 발음 수/어휘를 가진 압축 어휘가 전문가 어휘에 가까운 WER 성능을 달성할 수 있는가?
• RQ4 제안된 방법은 G2P 확장 및 가능도 기반 자르기 기준에 비해 WER 및 어휘 크기 측면에서 어떻게 비교되는가?
• RQ5 제한된 훈련 데이터와 소규모 시드 어휘에서 이 프레임워크는 효과적으로 확장 가능한가?

주요 결과

• 제안된 가능도 감소 기반 자르기 방법은 어휘 당 평균 발음 수를 5.43에서 1.59로 크게 감소시켜 압축성을 향상시켰다.
• Librispeech-460 작업에서 학습된 어휘는 SAT 디코딩 기준으로 WER 12.06%를 달성하여 G2P 확장 기준(13.72%)과 가능도 기반 자르기 기준(12.24%)을 모두 뛰어넘었다.
• SAT 디코딩 하에서, G2P 확장 시스템과 오라클 전문 어휘 사이의 WER 격차의 88%를 메웠다.
• LF-MMI 디코딩 하에서는 WER 격차의 36%를 메워, 모델 훈련 기준에 대해 강건함을 입증했다.
• 후보 풀에 발음 디코딩 후보를 추가함으로써 WER가 0.82% 향상되었으며, 다양한 후보 원천의 중요성을 강조했다.
• G2P-1best 기준(1개 발음/어휘)에 비해 학습된 어휘가 상대적으로 WER 성능을 20.9% 향상시켜, 압축성이 성능 손실을 동반하지 않음을 입증했다.