[논문 리뷰] Advancing Acoustic-to-Word CTC Model

Jinyu Li, Guoli Ye외 3명|arXiv (Cornell University)|2018. 03. 15.

Speech Recognition and Synthesis참고 문헌 19인용 수 9

한 줄 요약

이 논문은 어휘에 없는(Out-of-vocabulary, OOV) 단어를 빈도가 높은 단어와 다중 문자 단위로 분해하여, 언어 모델이나 복잡한 디코딩 기법 없이도 종단 간 음성 인식에서 단어 수준으로의 음성-단어 변환을 가능하게 하는 혼합 단위 CTC 모델을 제안한다. 이 접근 방식을 주목적 CTC 메커니즘과 결합함으로써, 기준 단어 기반 CTC 대비 12.09% 상대적 단어 오류율(WER) 감소를 달성하였으며, 강력한 언어 모델을 사용하는 전통적인 문맥 의존 음소 기반 CTC보다도 성능이 뛰어나다.

ABSTRACT

The acoustic-to-word model based on the connectionist temporal classification (CTC) criterion was shown as a natural end-to-end (E2E) model directly targeting words as output units. However, the word-based CTC model suffers from the out-of-vocabulary (OOV) issue as it can only model limited number of words in the output layer and maps all the remaining words into an OOV output node. Hence, such a word-based CTC model can only recognize the frequent words modeled by the network output nodes. Our first attempt to improve the acoustic-to-word model is a hybrid CTC model which consults a letter-based CTC when the word-based CTC model emits OOV tokens during testing time. Then, we propose a much better solution by training a mixed-unit CTC model which decomposes all the OOV words into sequences of frequent words and multi-letter units. Evaluated on a 3400 hours Microsoft Cortana voice assistant task, the final acoustic-to-word solution improves the baseline word-based CTC by relative 12.09% word error rate (WER) reduction when combined with our proposed attention CTC. Such an E2E model without using any language model (LM) or complex decoder outperforms the traditional context-dependent phoneme CTC which has strong LM and decoder by relative 6.79%.

연구 동기 및 목표

• 단어 기반 CTC 모델에서 발생하는 어휘에 없는(Out-of-vocabulary, OOV) 단어 문제를 해결함으로써, 인식 범위를 가장 빈번한 단어들로 국한시키는 것을 방지하기 위함.
• 외부 언어 모델이나 복잡한 디코딩에 의존하지 않고도 희귀 또는 미리 보지 못한 단어를 모델링할 수 있도록 종단 간 음성 인식 정확도를 향상시키기 위함.
• 공유된 은닉층을 사용하는 하이브리드 CTC 모델에서 발생하는 시간 불일치 및 성능 저하 문제를 피하기 위해 통합된 단일 단계 추론 시스템을 개발하기 위함.
• 단순한 탐욕적 디코딩을 유지하면서도 주목적 기반 CTC 모델링 능력을 향상시키기 위해 주목적 기반 메커니즘을 도입하기 위함.

제안 방법

• 빈도가 높은 단어와 다중 문자 단위(예: 2자 또는 3자 조합)를 조합한 혼합 단위 CTC 출력층을 도입하여 OOV 단어를 표현함.
• 학습 중에 OOV 단어는 빈도가 높은 단어와 다중 문자 단위의 시퀀스로 분해되며, 이로써 명시적인 OOV 토큰 없이도 서브워드 구조를 학습할 수 있음.
• 시퀀스 예측 중 관련 입력 프레임에 주목함으로써 후행 확률의 명확성과 모델링 정확도를 향상시키는 주목적 CTC 변형을 적용함.
• 두 단계의 OOV 처리나 복잡한 디코딩 파이프라인을 제거하기 위해 단일 추론 단계에서 탐욕적 디코딩을 사용함.
• 시간 정렬을 유지하기 위해 단어와 문자 단위 간에 공유된 인코더 아키텍처를 적용하지만, 성능 저하를 초래하는 공유 은닉층을 피함.
• 프레임 수준의 후행 확률 간 조건부 독립성 가정을 기반으로 표준 CTC 손실 함수를 사용하여 모델을 최적화함.

실험 결과

연구 질문

• RQ1 OOV 단어를 빈도가 높은 단어와 다중 문자 단위로 분해하는 방식이 종단 간 음성-단어 CTC 모델의 단어 인식 정확도를 향상시킬 수 있는가?
• RQ2 공유된 은닉층을 사용하는 하이브리드 CTC 시스템과 비교해 볼 때, 통합된 혼합 단위 CTC 모델이 시간 동기화를 위해 공유된 은닉층을 사용하는 시스템을 능가할 수 있는가?
• RQ3 언어 모델이나 복잡한 디코딩 없이도 주목적 기반 메커니즘이 CTC 모델링을 향상시킬 수 있는가?
• RQ4 기존의 강력한 언어 모델과 디코딩을 사용하는 문맥 의존 음소 기반 CTC와 비교해 본다면, 제안된 방법의 WER는 어떻게 되는가?
• RQ5 혼합 단위 CTC가 OOV 토큰 출력을 방지함으로써 사용자 경험을 얼마나 향상시킬 수 있는가?

주요 결과

• 3자 단위와 빈도가 높은 단어를 사용한 혼합 단위 CTC 모델은 9.32%의 WER를 달성하여 기준 단어 기반 CTC(9.84% WER) 대비 5.28% 상대적 WER 감소를 기록함.
• 제안된 주목적 CTC와 조합한 최종 모델은 8.65%의 WER를 기록하였으며, 이는 기준 단어 기반 CTC 대비 12.09% 상대적 WER 감소에 해당함.
• 언어 모델이나 복잡한 디코딩 없이도 종단 간 모델이 기존의 강력한 언어 모델과 디코딩을 사용하는 문맥 의존 음소 기반 CTC를 능가하였으며, 이는 6.79% 상대적 WER 감소에 해당함.
• OOV 토큰 출력을 방지함으로써 사용자 경험을 크게 향상시켰으며, 예를 들어 "text OOV" 대신 "text fabian"과 같은 타당한 근사치를 생성함.
• 주목적 CTC 메커니즘이 학습을 안정화시키고 후행 확률의 피크 명확성을 향상시켜 단어와 문자 단위 예측 간 혼동을 감소시킴.
• 제거 분석 결과, OOV 분해에 단일 문자를 사용할 경우 성능이 열악해졌음(20.10% WER), 이는 다중 문자 단위(특히 3자 단위)가 성공에 필수적임을 확인함.