[論文レビュー] Language model fusion for streaming end to end speech recognition

Rodrigo Cabrera, Xiaofeng Liu+4 more|arXiv (Cornell University)|Apr 9, 2021

Speech Recognition and Synthesis参考文献 15被引用数 8

ひとこと要約

本稿では、再帰的ニューラルネットワークトランスducer (RNNT) を用いたストリーミングエンドツーエンド音声認識における、新たな言語モデル融合技術——浅い融合およびコールド融合の拡張に加え、早期融合のバリエーションを導入する——を提案する。実験の結果、コールド融合によりストリーミングRNNTの性能が著しく向上し、事前学習済み言語モデルを介してペairedでないテキストデータを統合することで、相対的に最大8.5%のWER低減が達成された。特に、低リソース言語や長尾言語現象（例：固有名詞、数字）の認識において顕著な効果を示した。

ABSTRACT

Streaming processing of speech audio is required for many contemporary practical speech recognition tasks. Even with the large corpora of manually transcribed speech data available today, it is impossible for such corpora to cover adequately the long tail of linguistic content that's important for tasks such as open-ended dictation and voice search. We seek to address both the streaming and the tail recognition challenges by using a language model (LM) trained on unpaired text data to enhance the end-to-end (E2E) model. We extend shallow fusion and cold fusion approaches to streaming Recurrent Neural Network Transducer (RNNT), and also propose two new competitive fusion approaches that further enhance the RNNT architecture. Our results on multiple languages with varying training set sizes show that these fusion methods improve streaming RNNT performance through introducing extra linguistic features. Cold fusion works consistently better on streaming RNNT with up to a 8.5% WER improvement.

研究の動機と目的

• ストリーミングエンドツーエンドASRシステムにおいて、希少語や語彙外の言語現象（例：固有名詞、数字）を認識する課題に対処すること。
• 非ストリーミングモデルで開発された言語モデル融合技術を、ストリーミングRNNT環境に拡張すること。
• 非ストリーミングのアテンションベースのモデル（例：LAS）で観察された融合効果が、ストリーミングRNNTモデルでも再現可能かどうかを調査すること。
• 融合の配置（ジョイントネットワークの前後）とモデル容量が、複数の低リソースおよび中リソース言語における性能に与える影響を評価すること。

提案手法

• 推論時に、log確率の重み付き和を用いてRNNTスコアと言語モデルスコアを組み合わせることで、浅い融合を適用する。
• RNNTと言語モデルを共通の損失関数で同時に微調整することで、パラメータの相互適応を実現し、コールド融合を実装する。
• 言語モデルをジョイントネットワークの前で統合できるように、言語モデルの融合を早期化する「早期浅い融合」と「早期コールド融合」を導入する。
• 統合プロセスの整合性を保つために、融合時における空白記号の言語モデル確率をRNNTの空白確率と等しく設定する。
• ペアドされていないテキストデータに特化して学習されたRNNベースの言語モデルを用い、ペアドされた音声-テキストデータを必要としない言語的事前分布を提供する。
• ワードピeceトークン化を採用し、デコード段階で空白ペナルティを最適化することで、アライメント精度と出力品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非ストリーミングASRモデルで開発された言語モデル融合技術が、ストリーミングRNNTアーキテクチャに効果的に適応可能か？
• RQ2 特に低リソース状況において、コールド融合が浅い融合を上回る性能を示すか？
• RQ3 融合の配置（ジョイントネットワークの前後）が認識性能とモデルの柔軟性に与える影響は？
• RQ4 学習データ量の大きさが、ストリーミングRNNTシステムにおける言語モデル融合の有効性にどの程度影響を及ぼすか？
• RQ5 ペアドされていないテキストデータを用いた融合により、語彙外の言語現象（例：固有名詞、数字）の認識が向上するか？

主な発見

• コールド融合はノルウェー語で最大8.5%の相対的WER低減を達成し、浅い融合およびベースラインモデルを著しく上回った。
• コールド融合はテストした3言語（ノルウェー語、ギリシャ語、僧伽羅語）すべてで性能向上を示したが、浅い融合はギリシャ語および僧伽羅語では改善効果を示さなかった。
• コールド融合による最大のWER低減は、低リソース環境（例：ノルウェー語）で観察された。これは、ASRモデルがデータに制限を受ける状況で、融合が最も有効に働くことを示唆している。
• 早期融合バージョン（早期浅い融合および早期コールド融合）は、標準的な融合と同等の性能を達成した。これは、融合の位置をジョイントネットワークの前後で柔軟に選べることを示している。
• 具体例の分析から、コールド融合は訓練データに存在しなかった語彙外語（例：'Range Rover' や 'Andrianopolis'）を正しく認識できた。
• モデル間の性能差は、低リソース言語におけるデータ不足に起因すると考えられ、僧伽羅語では過学習と言語モデルのドメイン不一致のため、最小限の向上が観察された。