[論文レビュー] Improving RNN transducer with normalized jointer network

Mingkun Huang, Jun Zhang+6 more|arXiv (Cornell University)|Nov 3, 2020

Speech Recognition and Synthesis参考文献 26被引用数 5

ひとこと要約

この論文では、RNN-T学習における巨大な勾配分散を軽減する正規化されたジョイナーネットワークを提案する。勾配正規化をエンコーダーと予測器にそれぞれ要因T（音響長）およびU（出力長）で適用し、マスク付きConformerエンコーダーとTransformer-XL予測器を統合することで、外部言語モデルを用いずに、AISHELL-1（5.37% CER）で最先端の結果を達成し、30,000時間の産業用データセットでも商業ハイブリッドシステム比9%の相対的向上を達成した。

ABSTRACT

Recurrent neural transducer (RNN-T) is a promising end-to-end (E2E) model in automatic speech recognition (ASR). It has shown superior performance compared to traditional hybrid ASR systems. However, training RNN-T from scratch is still challenging. We observe a huge gradient variance during RNN-T training and suspect it hurts the performance. In this work, we analyze the cause of the huge gradient variance in RNN-T training and proposed a new extit{normalized jointer network} to overcome it. We also propose to enhance the RNN-T network with a modified conformer encoder network and transformer-XL predictor networks to achieve the best performance. Experiments are conducted on the open 170-hour AISHELL-1 and industrial-level 30000-hour mandarin speech dataset. On the AISHELL-1 dataset, our RNN-T system gets state-of-the-art results on AISHELL-1's streaming and non-streaming benchmark with CER 6.15\% and 5.37\% respectively. We further compare our RNN-T system with our well trained commercial hybrid system on 30000-hour-industry audio data and get 9\% relative improvement without pre-training or external language model.

研究の動機と目的

• RNN-T学習における巨大な勾配分散の課題に取り組み、高速な収束性と性能向上を妨げる要因を解消すること。
• 事前学習や外部言語モデルを用いずにRNN-Tの性能を向上させること。
• マスク付きConformerやTransformer-XLといった高度なアーキテクチャが、エンドツーエンドの音声認識におけるRNN-Tに与える有効性を調査すること。
• オープンソース（AISHELL-1）および産業スケール（30,000時間）の中国語ASRベンチマークの両方で最先端の結果を達成すること。

提案手法

• ジョイナー層でのバックプロパゲーションを安定化させるために、要因T（音響長）およびU（出力長）による勾配正規化を適用する正規化されたジョイナーネットワークを提案する。
• エンコーダーにおける局所的文脈モデリングを向上させるために、40個の左および右の文脈マスクを備えたマスク付きConformerエンコーダーを導入する。
• 相対的位置エンコーディングと長距離依存性モデリングを備えたTransformer-XL予測器ネットワークを用いて、自己回帰的言語モデリングを強化する。
• Adam最適化アルゴリズムを用い、線形ウォームアップと指数関数的減衰の学習率スケジュールを採用して、エンドツーエンドでRNN-Tシステムを学習する。
• データオーグメンテーションにSpecAugmentを適用し、すべてのコンponentにドロップアウト（0.1）を適用して正則化を実施する。
• 後続確率推定のため、768次元の投影層とソフトマックス出力を備えたジョイナーネットワークを最適化する。

実験結果

リサーチクエスチョン

• RQ1 RNN-T学習における巨大な勾配分散の原因は何か？ そして、収束性と性能にどのような影響を与えるか？
• RQ2 ジョイナー層での勾配正規化が分散を軽減し、学習安定性を向上させられるか？
• RQ3 マスク付きConformerおよびTransformer-XLコンponentsが、事前学習なしでRNN-T性能をどのように向上させるか？
• RQ4 エンドツーエンドのRNN-Tシステムが、大規模産業データ上で、よく最適化された商業ハイブリッドシステムを上回れるか？

主な発見

• 提案された正規化されたジョイナーネットワークにより、勾配分散が低減され、より高速かつ安定した学習が実現され、検証損失曲線の改善が確認された。
• AISHELL-1データセットにおいて、最終的なRNN-Tシステムはストリーミングモードで6.15% CER、非ストリーミングモードで5.37% CERを達成し、以前の最先端結果を上回った。
• 110Mパラメータのモデル（ストリーミング・ラージ）は、外部言語モデルを用いずに非ストリーミングのAISHELL-1で5.37% CERを達成し、最先端の性能を示した。
• 30,000時間の産業用中国語データセットにおいて、RNN-Tシステムは、よく訓練されたハイブリッドシステム比9%の相対的向上を達成し、ニアフィールドテストセットで6.14% CER、ファーフィールドで12.70% CERを記録した。
• ストリーミング・ベーシックモデル（46Mパラメータ）は、110Mパラメータのハイブリッドシステム（ニアフィールドで6.80% CER）と同等の性能を達成したが、はるかに小さなモデル容量で実現された。
• LSTM予測器をTransformer-XLに置き換えることで、CERは6.35%から6.18%に低下し、高度な自己回帰モデリングの利点が実証された。