[論文レビュー] RNN-T Models Fail to Generalize to Out-of-Domain Audio: Causes and Solutions

Chung‐Cheng Chiu, Arun Narayanan+9 more|arXiv (Cornell University)|May 7, 2020

Speech Recognition and Synthesis参考文献 33被引用数 12

ひとこと要約

この論文は、RNN-Tモデルがドメイン外および長時間音声に対して一般化性能が低い主な原因として、エンコーダーの過学習を特定する。スペクトラムオーグメント、変動ノイズ、ランダムスパン摂動を組み合わせた正則化のコンビネーションに加え、動的オーバーラップ推論（DOI）を提案し、YouTubeの長時間音声では33.6%の相対的WER改善、検索データでは62%の改善を達成。DOIにより、Librispeechで訓練されたモデルのWERは99.8%から33.0%に低下した。

ABSTRACT

In recent years, all-neural end-to-end approaches have obtained state-of-the-art results on several challenging automatic speech recognition (ASR) tasks. However, most existing works focus on building ASR models where train and test data are drawn from the same domain. This results in poor generalization characteristics on mismatched-domains: e.g., end-to-end models trained on short segments perform poorly when evaluated on longer utterances. In this work, we analyze the generalization properties of streaming and non-streaming recurrent neural network transducer (RNN-T) based end-to-end models in order to identify model components that negatively affect generalization performance. We propose two solutions: combining multiple regularization techniques during training, and using dynamic overlapping inference. On a long-form YouTube test set, when the nonstreaming RNN-T model is trained with shorter segments of data, the proposed combination improves word error rate (WER) from 22.3% to 14.8%; when the streaming RNN-T model trained on short Search queries, the proposed techniques improve WER on the YouTube set from 67.0% to 25.3%. Finally, when trained on Librispeech, we find that dynamic overlapping inference improves WER on YouTube from 99.8% to 33.0%.

研究の動機と目的

• 短時間でドメインに特化したデータで訓練されたRNN-Tモデルが、長時間およびドメイン外音声に対して一般化性能が低い理由を解明すること。
• ドメイン不一致下でのストリーミングおよび非ストリーミングRNN-Tモデルにおける性能低下の根本的要因を特定すること。
• ドメインに一致した訓練データを必要とせず、一般化性能を向上させる正則化技術の開発と評価。
• 特に正則化が不十分な場合に、深刻なドメインギャップを示すモデルに対して、推論時における強力な解決策として動的オーバーラップ推論（DOI）を提案すること。

提案手法

• 著者らはRNN-Tの各コンponentを分析し、エンコーダーが過学習に最も脆弱であることを特定。これにより、ドメイン外入力に対して過剰に空白予測が発生し、削除率が高くなる。
• スペクトラムオーグメント（時間および周波数マスキング）、変動ノイズ（確率的ドロップアウトに類似したノイズ）、ランダムスパン摂動（RSP）を組み合わせた正則化コンビネーションを提案し、トレーニング中の耐性を向上。
• 推論においては、長時間音声の重複するセグメントを処理し、仮説を統合することで誤り伝播を低減し、長時間シーケンスのモデリングを改善する動的オーバーラップ推論（DOI）を導入。
• DOIはスライディングウインドウ（例：16秒、2秒のオーバーラップ）を用い、削除と置換を最小限に抑えるために仮説のアラインメントを動的に調整。
• YouTubeの短時間音声、検索クエリ、Librispeechで訓練されたモデルの3つの設定で評価し、YouTubeの長時間音声テストセットでWERを測定。
• ベースライン、個々の正則化、および組み合わせ正則化の性能を比較し、ドメインギャップが大きいモデルにおけるDOIの有効性を評価。

Fig. 1 : Block diagram of an RNN-T model [ 22 , 13 ] .

実験結果

リサーチクエスチョン

• RQ1 短時間でドメインに特化したデータで訓練されたRNN-Tモデルが、YouTube動画のような長時間でドメイン外の音声に対して一般化に失敗するのはなぜか？
• RQ2 RNN-Tアーキテクチャの中で、ドメイン不一致下での過学習と一般化性能の低下を引き起こす主な要因はどのコンponentか？
• RQ3 複数の正則化技術を組み合わせることで、再トレーニングを必要とせず、ドメイン外音声での一般化性能を向上させられるか？
• RQ4 モデルが別のドメイン（例：Librispeech）で訓練された場合、動的オーバーラップ推論（DOI）は長時間音声でのWERを顕著に改善するか？
• RQ5 ドメインギャップが大きい場合と小さい場合とで、異なる正則化技術の有効性はどのように異なるか？

主な発見

• 短時間のYouTubeセグメントで訓練された非ストリーミングRNN-Tモデルは、正則化コンビネーションを適用することでWERを22.3%から14.8%に改善し、相対的に33.6%の改善を達成。
• 検索クエリで訓練されたストリーミングRNN-Tモデルは、YouTubeの長時間音声テストセットでWERを67.0%から25.3%に改善し、相対的に62%の改善を達成。
• Librispeechで訓練した場合、正則化コンビネーションだけでは一般化が向上しなかったが、DOIによりYouTubeの短時間音声でのWERは99.8%から33.0%に低下。
• DOIはYouTubeテストセットにおける削除誤りを99.5%から3.6%に顕著に低減したが、置換誤りは依然として高かった（22.2%）。これは発音の混乱を示唆。
• 正則化コンビネーションは組み合わせた場合に最も効果的であり、個々の技術（例：SpecAugmentや変動ノイズ）だけではわずかな向上にとどまった。
• DOIはストリーミングモデルでは改善効果を示さなかった。これは、エンドツーエンドのストリーミングシステムでは、トレーニング時に制約がなければ、アラインメントが悪いためと推測される。

Fig. 2 : WERs for non-streaming model on YT-short (solid line) and YT-long (dotted line) as a function of training steps. Results are also shown when only the encoder, prediction, or the prediction + joint networks are trained after $50$ k steps of training all components.