[論文レビュー] Advancing Connectionist Temporal Classification With Attention Modeling

Amit Das, Jinyu Li+2 more|arXiv (Cornell University)|Mar 15, 2018

Speech Recognition and Synthesis参考文献 17被引用数 5

ひとこと要約

本稿では、アテンションモデリングを接続主義的時系列分類（CTC）フレームワークに直接統合することで、文字ベースのエンドツーエンド音声認識の性能を向上させる手法を提案する。時間畳み込み特徴、コンテキストベクトル、暗黙の言語モデリング、および成分別アテンション重みを用いることで、28文字および83文字の文字セットを用いた一方向および双方向LSTMを含む複数の設定において、一貫して18.75%から21.06%の相対的語誤り率（WER）低減を達成する。

ABSTRACT

In this study, we propose advancing all-neural speech recognition by directly incorporating attention modeling within the Connectionist Temporal Classification (CTC) framework. In particular, we derive new context vectors using time convolution features to model attention as part of the CTC network. To further improve attention modeling, we utilize content information extracted from a network representing an implicit language model. Finally, we introduce vector based attention weights that are applied on context vectors across both time and their individual components. We evaluate our system on a 3400 hours Microsoft Cortana voice assistant task and demonstrate that our proposed model consistently outperforms the baseline model achieving about 20% relative reduction in word error rates.

研究の動機と目的

• 標準CTCにおける硬いアラインメントおよび条件付き独立性の制限を解消するため、アテンションをCTCフレームワークに直接統合すること。
• 言語モデリングやアラインメントの柔軟性に欠けるため、通常は高WRを示す文字ベースCTCの性能を向上させること。
• 外部言語モデルや複雑なデコードを必要とせずに、低リソース環境における純粋CTCの欠点を克服すること。
• 一方向／双方向のモデルアーキテクチャおよび28～83文字の出力語彙の変化に関わらず、一貫したWER改善を示すこと。

提案手法

• 時間畳み込み特徴を用いてコンテキストベクトルを導出することで、時間的依存関係を捉え、CTCにおけるソフトアラインメントを可能にする。
• 時間経過にわたるコンテキストベクトルおよびその個々の成分に対して非一様なアテンション重みを適用し、長距離依存関係をモデル化する。
• 訓練中に暗黙の言語モデルを組み込むことで、文脈理解を向上させ、出力シーケンスの整合性を改善する。
• コンポーネントアテンション（COMA）を導入し、時間軸だけでなくコンテキストベクトルの特徴次元に対してもアテンション重みを適用する。
• アテンションモジュールをエンコーダーおよび予測ネットワーク内に統合しながら、標準的なCTC損失を用いてエンドツーエンドでモデルを学習する。
• ハイブリッドCTCシステムにおいて、文字出力と単語出力を統合するための共有隠れ層を活用し、文字レベルモデリングの向上を図る。

実験結果

リサーチクエスチョン

• RQ1 外部言語モデルに依存せずに、CTCフレームワーク内にアテンションモデリングを効果的に統合できるか？
• RQ2 時間畳み込み特徴およびコンテキストベクトルの使用により、標準CTCに内在する硬いアラインメントバイアスを軽減するソフトアラインメントが可能になるか？
• RQ3 CTCフレームワーク内での暗黙の言語モデリングが、文字レベルのASR性能にどの程度向上効果をもたらすか？
• RQ4 成分別アテンション（COMA）は、CTCにおける時間的および特徴次元の依存関係をどのように向上させるか？
• RQ5 提案されたCTC-アテンションモデルは、異なるモデルアーキテクチャおよび出力語彙において一貫したWER改善を達成できるか？

主な発見

• 提案されたCTC-アテンションモデルは、28文字語彙を用いた一方向5層LSTMにおいて、バニラCTC比で18.75%の相対的WER低減を達成した。
• 28文字語彙を用いた双方向5層LSTMにおいて、ベースライン比で21.06%の相対的WER改善を達成した。
• 83文字語彙を用いた場合、20.61%の相対的WER低減を達成し、異なる出力語彙にわたる頑健性を示した。
• コンテキストベクトル、コンテキストアテンション、履歴アテンション、言語モデリング、成分アテンションの順に段階的に追加することで、一貫的かつ累積的なWER改善が観察された。
• ベースラインが双方向LSTMおよびより大きな文字セットを用いても、本モデルはバニラCTCを上回ったことから、強力な一般化性能を示した。
• 本手法により、大規模な外部言語モデルに依存しない高精度な文字ベースCTCシステムが実現可能となり、ハイブリッド音声認識モデルへの応用が可能になった。