[論文レビュー] Exploring Neural Transducers for End-to-End Speech Recognition

Eric Battenberg, Jitong Chen+9 more|ArXiv.org|Jul 24, 2017

Speech Recognition and Synthesis参考文献 21被引用数 72

ひとこと要約

本論文はエンドツーエンド ASR における CTC、RNN-Transducer、注意機構ベースの Seq2Seq を実証的に比較し、Hub5’00 で外部言語モデルなしでも RNN-Transducer と attention が CTC を上回ること、そしてエンコーダのアーキテクチャの影響とデコードの単純化について論じる。

ABSTRACT

In this work, we perform an empirical comparison among the CTC, RNN-Transducer, and attention-based Seq2Seq models for end-to-end speech recognition. We show that, without any language model, Seq2Seq and RNN-Transducer models both outperform the best reported CTC models with a language model, on the popular Hub5'00 benchmark. On our internal diverse dataset, these trends continue - RNNTransducer models rescored with a language model after beam search outperform our best CTC models. These results simplify the speech recognition pipeline so that decoding can now be expressed purely as neural network operations. We also study how the choice of encoder architecture affects the performance of the three models - when all encoder layers are forward only, and when encoders downsample the input representation aggressively.

研究の動機と目的

• CTC、RNN-Transducer、および注意機構ベースのエンドツーエンド ASR モデルの違いを評価する。
• Hub5’00 および内部データセットの多様なデータで性能を評価する。
• エンコーダーアーキテクチャとそれがモデル性能およびストリーミング機能に与える影響を調査する。
• 各モデルのデコードの複雑さと外部言語モデルへの依存を検討する。

提案手法

• CTC、RNN-Transducer、注意機構ベースの Seq2Seq の3つのトランスデューサーアーキテクチャを形式化する。
• 公正な比較のため、同じデータと手法で全モデルを訓練する。
• 外部言語モデルの有無でデコードを分析する。
• 前方のみ vs 双方向、および時間ダウンサンプリング（プーリング）の変化を含むエンコーダ設定を実験する。
• アライメントを可視化し、モノトニック vs 非モノトニックアテンション方式を比較する。

実験結果

リサーチクエスチョン

• RQ1 Hub5’00 における外部 LM なしのエンドツーエンド ASR パフォーマンスで、CTC、RNN-Transducer、および注意機構モデルはどのように比較されるか？
• RQ2 外部言語モデルはアーキテクチャ間で同様の改善をもたらすのか、それともいくつかのモデルがデータからより強い暗黙の言語モデルを学習するのか？
• RQ3 エンコーダーアーキテクチャ（前方優先 vs 双方向、時間ダウンサンプリング）レベルが、モデル間の性能とストリーミングデコードの実現性にどう影響するか？
• RQ4 各トランスダクションモデルが学習する入力-出力アライメントの質的な違いは何か？

主な発見

• 外部 LM なしでは、Attention および RNN-Transducer モデルが Hub5’00 で CTC を上回り、最良の LM ベースの結果と競合する。
• RNN-Transducer は最も単純なデコードを提供し、ハイパーパラメータが少なく、多様なデータでビーム探索と LM リスコアリングを経て CTC+LM の性能に匹敵または上回る。
• Attention と RNN-Transducer は主にデータから暗黙の言語モデリングを学習し、デコード時の大規模な外部 LM の必要性を減らす。
• 前方のみのエンコーダー設定は CTC および RNN-Transducer をストリーミングにより適したものにし、完全なアテンションモデルは非ストリーミング、全シーケンス処理の恩恵を受ける。
• エンコーダのダウンサンプリング（時間パーティング）は計算を削減する。CTC は中程度のダウンサンプリングの恩恵を受ける一方、アテンションモデルはより積極的なプーリングを耐える。
• Hub5’00 で報告された以下の WER（単一モデル、LM 不在）: CTC 9.0/17.7, RNN-Transducer 8.1/?, Attention 8.6/17.8, 比較のためにビーム探索の変種と LM リスコアリングが提供された。