[論文レビュー] On Language Model Integration for RNN Transducer based Speech Recognition

Wei Zhou, Zuoyun Zheng+2 more|arXiv (Cornell University)|Oct 13, 2021

Speech Recognition and Synthesis被引用数 4

ひとこと要約

本稿は、RNN-Transducerベース音声認識における新しい正確なILM学習フレームワークを提案し、モデルの内部言語モデル（ILM）と外部LMとの不一致を是正することで、言語モデル（LM）統合を改善する。HATの証明を拡張し、統一されたRNN-Tフレームワーク内にILM補正を定式化することで、ドメイン内（Librispeech）およびクロスドメイン（TED-LIUM）ベンチマークの両方で最先端のWER向上を達成した。特に、ミニ-LSTMベースのILMアプローチと正確なILM学習を組み合わせた際、最高の性能を発揮した。

ABSTRACT

The mismatch between an external language model (LM) and the implicitly learned internal LM (ILM) of RNN-Transducer (RNN-T) can limit the performance of LM integration such as simple shallow fusion. A Bayesian interpretation suggests to remove this sequence prior as ILM correction. In this work, we study various ILM correction-based LM integration methods formulated in a common RNN-T framework. We provide a decoding interpretation on two major reasons for performance improvement with ILM correction, which is further experimentally verified with detailed analysis. We also propose an exact-ILM training framework by extending the proof given in the hybrid autoregressive transducer, which enables a theoretical justification for other ILM approaches. Systematic comparison is conducted for both in-domain and cross-domain evaluation on the Librispeech and TED-LIUM Release 2 corpora, respectively. Our proposed exact-ILM training can further improve the best ILM method.

研究の動機と目的

• RNN-Transducerベース音声認識における性能制限要因である、モデルの内部言語モデル（ILM）と外部言語モデル（LM）との不一致を是正すること。
• RNN-Tアーキテクチャ内での多様なILM補正に基づくLM統合手法の比較を可能にする統一フレームワークを提供すること。
• HAT証明を拡張することで、ILM補正手法の理論的裏付けを提供し、正確なILM学習目的関数を導出すること。
• ドメイン内（Librispeech）およびクロスドメイン（TED-LIUM Release 2）音声認識タスクにおける提案手法の体系的評価を実施すること。

提案手法

• ハイブリッド自己回帰変換器（HAT）フレームワークからの理論的証明を拡張し、新しい正確なILM学習目的関数 $\mathcal{L}^{\text{exact}}_{\text{ILM}}$ を提案する。
• 密度比、HATスタイル、ミニ-LSTMベースのアプローチを含む多様なILM補正手法の定式化と比較を可能にする統一されたRNN-Tフレームワークを導入する。
• ベイジアンデコード解釈を用いて、ILM補正の2つの主要な利点（ラベル確率の再バランスとラベル尤度の向上）を説明する。
• 再正規化と長さ報酬を用いた修正されたデコード戦略を採用し、ILM補正コンponentsの個別効果を分離・検証する。
• エンコーダ、予測、結合ネットワークを備えたRNN-Tアーキテクチャを用い、ILMはエンコーダの影響を除いたモデル内部ダイナミクスから推定する。
• 外部LMスコアとの対数線形結合（シャロウフュージョン）を適用するが、RNN-T後ろ向き確率を推定されたILMで是正することで不一致を低減する。

実験結果

リサーチクエスチョン

• RQ1 デコードの観点から、ILM補正はRNN-Transducerベース音声認識の性能をどのように向上させるか？
• RQ2 ILM補正が認識精度を向上させる2つの主要メカニズムは何か？ これらはどのように分離・実験的に検証可能か？
• RQ3 ILM補正の理論的裏付けを近似を超えて、正確な学習目的関数にまで拡張可能か？
• RQ4 提案された正確なILM学習フレームワークは、ドメイン内およびクロスドメイン音声認識タスクにおいて、既存のILM補正手法と比較してどの程度の性能向上を達成するか？
• RQ5 ILMの共同学習による $\mathcal{L}_{\text{ILMT}}$ は、さまざまなILM補正手法において性能向上をもたらすか？

主な発見

• 提案された正確なILM学習フレームワーク（$\mathcal{L}^{\text{exact}}_{\text{ILM}}$）は、評価されたすべての設定で最高の性能を達成し、LibrispeechおよびTED-LIUM Release 2データセットの両方で、他のすべてのILM補正手法を上回った。
• 元々アテンションモデル向けに提案された $h'_{\text{mini-LSTM}}$ ILM手法は、RNN-Tに適用した場合、ILM補正アプローチの中で最も優れた性能を示し、特に正確なILM学習と組み合わせた際の効果が顕著だった。
• ドメイン内Librispeech dev-otherセットでは、$h'_{\text{mini-LSTM}}$ アプローチに正確なILM学習を適用した結果、WERが4.4%に低下し、ベースラインのSF（5.1%）および他のILM手法を顕著に上回った。
• クロスドメインTED-LIUM Release 2セットでは、同様の手法によりWERが10.5%に低下し、ドメインシフトに対して高いロバスト性を示した。
• 分析的アブレーションスタディにより、ILM補正が2つの明確な利点を提供することが確認された：ラベル確率分布の再バランスとラベル尤度の向上。両者は補完的かつ相乗的である。
• $\mathcal{L}_{\text{ILMT}}$ 学習目的関数はクロスドメインTLv2タスクで性能向上をもたらしたが、ドメイン内Librispeechタスクでは効果を示さなかった。これはHATにおける先行観察と整合的であった。