[論文レビュー] Global Normalization for Streaming Speech Recognition in a Modular Framework

Ehsan Variani, Ke Wu+4 more|arXiv (Cornell University)|May 26, 2022

Speech Recognition and Synthesis被引用数 6

ひとこと要約

この論文では、有限な文脈制約のもとで逐次的な正規化を正確かつ実行可能に可能にする、グローバルに正規化された自己回帰的変換器（GNAT）を導入する。GNATは、局所的正規化に起因するラベルバイアスを排除することで、LibriSpeech上でのストリーミングと非ストリーミングモデル間の語誤り率（WER）の差を50%以上縮小し、効率的でアクセラレータフレンドリーな推論・学習を実現することで、非ストリーミングに近い性能を達成する。

ABSTRACT

We introduce the Globally Normalized Autoregressive Transducer (GNAT) for addressing the label bias problem in streaming speech recognition. Our solution admits a tractable exact computation of the denominator for the sequence-level normalization. Through theoretical and empirical results, we demonstrate that by switching to a globally normalized model, the word error rate gap between streaming and non-streaming speech-recognition models can be greatly reduced (by more than 50\% on the Librispeech dataset). This model is developed in a modular framework which encompasses all the common neural speech recognition models. The modularity of this framework enables controlled comparison of modelling choices and creation of new models.

研究の動機と目的

• ストリーミングと非ストリーミングの自動音声認識（ASR）モデル間の継続的な語誤り率（WER）の差を解消すること。
• 局所的正規化されたストリーミングモデルに内在するラベルバイアス問題を軽減すること。これは、予測が局所的な確率分布に制約されることに起因する。
• 有限な文脈制約のもとで、正確かつ実行可能な逐次正規化の計算が可能なグローバルに正規化されたASRモデルの開発。
• 一般的なASRモデル（例：CTC、RNN-T、LAS）を統合するモジュラーなフレームワークの設計。これにより、新たなグローバルに正規化されたバリアントの作成が可能になる。
• ストリーミング環境下でのグローバルに正規化されたモデルの効率的でアクセラレータフレンドリーな学習と推論の実現。

提案手法

• 局所的正規化をグローバルな逐次正規化に置き換える、新しいモデルアーキテクチャとしてグローバルに正規化された自己回帰的変換器（GNAT）を提案する。
• グローバル正規化の分母を多項式時間で計算可能にするために、有限な文脈仮定を導入する。これにより正確な推論が可能になる。
• フレーム依存のアライメントラティスと文脈依存の重み関数を用いて、フレーム間の依存関係をモデル化しつつ、計算の実行可能性を維持する。
• モデル部品（例：エンコーダ、予測器、結合ネットワーク）を抽象化することで、異なるモデル選択肢のプラグアンドプレイ統合を可能にするモジュラーなフレームワークを設計する。
• 効率的なデコードアルゴリズム（最大パスおよび合計パスの変種）を実装し、グローバルに正規化されたモデルに適したプルーニングヒューリスティクスを調整する。
• アライメントパスのエントロピーを制約として学習目的を制御し、単一パスの確率分布を好むようにすることで、合計パスデコードに依存するのを減らす。

実験結果

リサーチクエスチョン

• RQ1 グローバル正規化は、ストリーミングと非ストリーミングASRモデル間のWER差を顕著に縮小できるか？
• RQ2 有限な文脈のもとで、ストリーミング環境下でもグローバル正規化の正確かつ実行可能な計算が可能か？
• RQ3 ラベルバイアスの緩和およびWERパフォーマンスの観点で、グローバル正規化は局所正規化よりも優れているか？
• RQ4 モジュラーなフレームワークは、既存のASRモデルを統合し、新たなグローバルに正規化されたバリアントの体系的探索を可能にするか？
• RQ5 グローバル正規化をストリーミングASRで使用した場合、学習および推論の効率にどのような実用的影響が生じるか？

主な発見

• GNATは、LibriSpeechのテストクリーンセットにおいて、ストリーミングと非ストリーミングASRモデル間のWER差を50%以上縮小した。
• 最大パスデコードを用いることで、グローバルに正規化されたモデルはLibriSpeechテストクリーンセットで3.8%のWERを達成し、非ストリーミングベースラインとの差の約50%を埋めた。
• 1-gramおよび2-gramの文脈依存性において、グローバルに正規化されたストリーミングモデルは、局所的に正規化された対応モデルを20–21%相対的に上回った。
• 2-gram文脈設定において、共有RNNアーキテクチャは共有埋め込みバージョンを上回った。これは、共有状態構造のより良い学習を示している。
• 合計パスデコードは最大パスデコードよりもさらにWERを改善しており、最適化されたグローバル正規化推論によりさらなるパフォーマンス向上が可能であることを示唆している。
• モジュラーなフレームワークにより、モデル選択の制御された比較が可能になり、新たなグローバルに正規化されたASRモデルの創出が促進された。