[논문 리뷰] From Senones to Chenones: Tied Context-Dependent Graphemes for Hybrid Speech Recognition

Duc Le, Xiaohui Zhang외 4명|arXiv (Cornell University)|2019. 10. 02.

Speech Recognition and Synthesis참고 문헌 46인용 수 9

한 줄 요약

이 논문은 하이브리드 자동 음성 인식(ASR)에서 전통적인 세노네 대신 연결된 문맥 및 위치 의존성 그래프음을 도입한다. 그래프음을 직접 문맥과 위치 의존성으로 모델링함으로써, 체노네 기반 시스템은 영어 데이터셋에서 세노네 기반 기준 대비 4.5%에서 11.1%의 상대적 WER 향상을 달성하였으며, Librispeech에서 최신 기록인 3.2% WER(테스트-클린)를 기록했고, 특히 희귀어 및 고유명사에서 세노네를 능가하였다. 이는 강력한 ASR 성능을 내기 위해 음소 사전이 필수적이라는 가정에 도전한다.

ABSTRACT

There is an implicit assumption that traditional hybrid approaches for automatic speech recognition (ASR) cannot directly model graphemes and need to rely on phonetic lexicons to get competitive performance, especially on English which has poor grapheme-phoneme correspondence. In this work, we show for the first time that, on English, hybrid ASR systems can in fact model graphemes effectively by leveraging tied context-dependent graphemes, i.e., chenones. Our chenone-based systems significantly outperform equivalent senone baselines by 4.5% to 11.1% relative on three different English datasets. Our results on Librispeech are state-of-the-art compared to other hybrid approaches and competitive with previously published end-to-end numbers. Further analysis shows that chenones can better utilize powerful acoustic models and large training data, and require context- and position-dependent modeling to work well. Chenone-based systems also outperform senone baselines on proper noun and rare word recognition, an area where the latter is traditionally thought to have an advantage. Our work provides an alternative for end-to-end ASR and establishes that hybrid systems can be improved by dropping the reliance on phonetic knowledge.

연구 동기 및 목표

• 하이브리드 ASR 시스템이 그래프음을 효과적으로 모델링할 수 없다는 일반적인 가정을 도전하기 위해.
• 연결된 문맥 및 위치 의존성 그래프음(체노네)이 하이브리드 ASR에서 전통적인 연결된 문맥 의존성 음소(세노네)를 능가할 수 있는지 조사하기 위해.
• 체노네 기반 시스템과 세노네 기준 대비 대규모 음성 모델 및 훈련 데이터의 영향을 평가하기 위해.
• 희귀어 및 고유명사에서의 체노네 성능을 평가하여, 전통적으로 음소 기반 시스템의 강점으로 여겨진 영역에서의 성능을 점검하기 위해.
• 효율적인 그래프음 기반 ASR을 위해 문맥 및 위치 의존성 모델링의 필요성을 규명하기 위해.

제안 방법

• 하이브리드 HMM-DNN ASR 프레임워크에서 전통적인 세노네를 대체하기 위해 연결된 문맥 및 위치 의존성 그래프음 단위인 체노네를 제안한다.
• 대규모 Librispeech 및 내부 데이터셋을 사용하여 엔드 투 엔드 레이티스 없는 MMI(LF-MMI) 훈련 방식으로 음성 모델을 훈련시킨다.
• 결정 트리 기반의 문맥 의존성 연결을 적용하지만, 음소 대신 그래프음을 직접 훈련 대상으로 삼는다.
• 약어 및 대문자 표기 인식 향상을 위해 그래프음 표현에 대소문자 정보를 통합한다.
• 모든 실험에서 공정한 비교를 확보하기 위해 디코딩 시 4-그램 언어 모델을 사용한다.
• 문맥 의존성, 위치 의존성, 훈련 데이터 크기의 영향을 분리하기 위해 탈리티 연구를 수행한다.

실험 결과

연구 질문

• RQ1 그래프음-음소 대응이 열악한 영어에서, 음소 대신 그래프음을 사용하는 하이브리드 ASR 시스템이 경쟁 가능한 성능을 낼 수 있는가?
• RQ2 문맥 및 위치 의존성 모델링이 문맥 독립적 모델링 대비 그래프음 기반 ASR 성능을 크게 향상시키는가?
• RQ3 체노네 기반 시스템은 전체 WER 및 희귀어/고유명사 인식에서 세노네 기준 대비 어떻게 비교되는가?
• RQ4 체노네 시스템은 모델 용량 증가 및 더 큰 훈련 데이터에 얼마나 큰 이점을 얻는가?
• RQ5 문맥 및 위치 의존성 모델링이 적용된 체노네 시스템은 희귀어 및 긴 尾문자어에서 엔드 투 엔드 모델을 능가할 수 있는가?

주요 결과

• 체노네 기반 시스템은 오직 4-그램 언어 모델만을 사용하여 Librispeech 테스트-클린에서 최신 기록인 3.2% WER, 테스트-오더에서 7.6% WER를 기록하였다.
• 세 가지 다른 영어 데이터셋에서 체노네 시스템은 세노네 기준 대비 4.5%에서 11.1%의 상대적 WER 향상을 보였으며, 더 큰 훈련 세트에서 가장 큰 성과를 기록하였다.
• 고유명사 및 희귀어 인식에서 체노네는 세노네를 크게 능가하였으며, 위치 의존성 적용 시 테스트-클린에서 14.7%의 상대적 WER 향상을 기록하였다.
• 훈련 데이터가 증가할수록 체노네와 세노네 간 성능 격차가 커지며, 이는 체노네가 대규모 데이터와 모델 용량을 더 효과적으로 활용함을 시사한다.
• 문맥 및 위치 의존성 모델링은 체노네에 필수적이다: 둘 중 하나를 제거하면 상당한 WER 악화가 발생하지만, 세노네는 이러한 변화에 거의 영향을 받지 않는다.
• 대소문자 인식을 고려한 그래프음 모델링은 약어 인식 성능을 향상시켜, vid-clean에서 WER을 0.4% 감소시키고, vid-noisy에서 0.1% 감소시켰다. 이는 철자적 특징의 가치를 입증한다.