[論文レビュー] From Senones to Chenones: Tied Context-Dependent Graphemes for Hybrid Speech Recognition

Duc Le, Xiaohui Zhang+4 more|arXiv (Cornell University)|Oct 2, 2019

Speech Recognition and Synthesis参考文献 46被引用数 9

ひとこと要約

この論文は、ハイブリッド自動音声認識（ASR）における従来のセノンの代替手段として、文脈依存性および位置依存性を持つグラフィム（chenones）を導入する。文脈および位置依存性を直接モデル化することで、英語のデータセットにおいてセノンベースのベースライン比で4.5%から11.1%の相対的WER改善を達成し、Librispeechでは最先端の結果（test-cleanで3.2% WER）を記録した。特に希少語や固有名詞の認識でセノンを上回り、音声認識性能に優れるためには音声的語彙が不可欠であるという仮定に挑戦する。

ABSTRACT

There is an implicit assumption that traditional hybrid approaches for automatic speech recognition (ASR) cannot directly model graphemes and need to rely on phonetic lexicons to get competitive performance, especially on English which has poor grapheme-phoneme correspondence. In this work, we show for the first time that, on English, hybrid ASR systems can in fact model graphemes effectively by leveraging tied context-dependent graphemes, i.e., chenones. Our chenone-based systems significantly outperform equivalent senone baselines by 4.5% to 11.1% relative on three different English datasets. Our results on Librispeech are state-of-the-art compared to other hybrid approaches and competitive with previously published end-to-end numbers. Further analysis shows that chenones can better utilize powerful acoustic models and large training data, and require context- and position-dependent modeling to work well. Chenone-based systems also outperform senone baselines on proper noun and rare word recognition, an area where the latter is traditionally thought to have an advantage. Our work provides an alternative for end-to-end ASR and establishes that hybrid systems can be improved by dropping the reliance on phonetic knowledge.

研究の動機と目的

• ハイブリッドASRシステムが、グラフィム-音声対応が悪い英語において、グラフィムを効果的にモデル化できないという一般的な仮定に挑戦すること。
• 文脈および位置依存性を持つグラフィム単位（chenones）が、ハイブリッドASRにおいて従来の文脈依存音素（senones）を上回る可能性があるかどうかを調査すること。
• 大規模な音声モデルおよび訓練データが、chenoneベースのシステムとセノンベースラインとの比較において、どのような影響を与えるかを評価すること。
• 希少語や固有名詞におけるchenoneの性能を評価し、伝統的に音声ベースのシステムの強みとされてきた分野における有効性を検証すること。
• 効果的なグラフィムベースのASRに、文脈および位置依存性モデリングが不可欠かどうかを特定すること。

提案手法

• ハイブリッドHMM-DNN ASRフレームワークにおいて、従来のセノンに代わる、文脈および位置依存性を持つグラフィム単位（chenones）を提案する。
• 大規模なLibrispeechおよび社内データセットを用いて、エンドツーエンドのラティスフリーMMI（LF-MMI）訓練法で音声モデルを学習する。
• 意思決定ツリーを用いて文脈依存性の結合を実装するが、システムは音声ではなくグラフィムそのものに対して直接学習を行う。
• 略語や大文字の認識を向上させるために、グラフィム表現に大文字小文字情報を組み込む。
• すべての実験で公平な比較を保つために、4-gram言語モデルをデコードに使用する。
• アブレーションスタディを実施し、文脈依存性、位置依存性、および訓練データサイズの影響を分離して評価する。

実験結果

リサーチクエスチョン

• RQ1 グラフィムを音声ではなく使用することで、グラフィム-音声対応が悪い英語においても、ハイブリッドASRシステムが競争力のある性能を達成できるか？
• RQ2 文脈依存性および位置依存性モデリングが、文脈独立型モデルと比較して、グラフィムベースのASR性能に顕著な向上をもたらすか？
• RQ3 chenoneベースのシステムは、全体のWERおよび希少語／固有名詞認識において、セノンベースラインと比較してどの程度優れているか？
• RQ4 chenoneシステムは、モデル容量の向上および訓練データ量の増加により、どの程度恩恵を受けるか？
• RQ5 文脈および位置依存性が適用された場合、chenoneはエンドツーエンドモデルを上回ることができるか？特に希少語や長尾語において。

主な発見

• chenoneベースのシステムは、4-gram言語モデルのみを用いて、Librispeech test-cleanで3.2% WER、test-otherで7.6% WERを達成し、これまでのハイブリッド手法を上回る最先端の性能を発揮した。
• 3つの異なる英語データセットにおいて、chenoneシステムはセノンベースライン比で4.5%から11.1%の相対的WER改善を達成した。特に大規模な訓練データセットで最大の向上が観察された。
• 固有名詞および希少語認識において、chenoneはセノンを顕著に上回り、位置依存性を適用した場合、test-cleanで14.7%の相対的WER改善が得られた。
• 訓練データ量の増加に伴い、chenoneとセノンの性能差が拡大する傾向にあり、chenoneが大規模データおよび大規模モデル容量をより効果的に活用できることを示している。
• 文脈および位置依存性モデリングは、chenoneにとって不可欠である：いずれかを除去すると、WERが著しく悪化するが、セノンはこのような変更に対してほとんど影響を受けない。
• 大文字小文字を考慮したグラフィムモデリングにより、略語認識が向上し、vid-cleanでは0.4%、vid-noisyでは0.1%のWER低減が達成された。これにより、綴りの特徴の価値が裏付けられた。