[論文レビュー] End-to-end Continuous Speech Recognition using Attention-based Recurrent NN: First Results

Jan Chorowski, Dzmitry Bahdanau+2 more|arXiv (Cornell University)|Dec 4, 2014

Speech Recognition and Synthesis参考文献 23被引用数 415

ひとこと要約

この論文は、アテンションに基づく双方向RNNエンコーダとデコーダを用いたエンド・トゥ・エンドの連続音声認識モデルを提案し、明示的なアライメントを経ずに音素を直接予測する。TIMITでは18.57%の音素誤り率を達成し、最先端のHMMベースのシステムと同等の性能を示し、グリーディデコードや最小限のチューニングに対しても安定した性能を発揮する。

ABSTRACT

We replace the Hidden Markov Model (HMM) which is traditionally used in in continuous speech recognition with a bi-directional recurrent neural network encoder coupled to a recurrent neural network decoder that directly emits a stream of phonemes. The alignment between the input and output sequences is established using an attention mechanism: the decoder emits each symbol based on a context created with a subset of input symbols elected by the attention mechanism. We report initial results demonstrating that this new approach achieves phoneme error rates that are comparable to the state-of-the-art HMM-based decoders, on the TIMIT dataset.

研究の動機と目的

• 従来のHMMベースのモデルで用いられるフレーム単位の明示的アライメントを必要としないエンド・トゥ・エンド音声認識システムの開発。
• RNNエンコーダ・デコーダフレームワークにおけるアテンション機構が、連続音声の入力出力アライメントを効果的に学習できるかの調査。
• 強制的アライメントやハイブリッドHMM-DNNトレーニングに依存せずに、TIMITの音素認識ベンチマークにおけるアテンションベースRNNモデルの性能評価。
• グリーディサーチを用いても良好に動作するなど、デコーディング戦略に対して頑健であり、実装・チューニングが容易であることを示すこと。

提案手法

• 入力音声シーケンス全体を処理し、文脈に配慮した隠れ状態を生成するため、双方向RNNエンコーダを用いる。
• エンコーダの状態に対するアテンションに基づく重み付けされた和を計算するコンテキストベクトルを用いて、1つずつ出力音素を生成する一方向RNNデコーダを採用する。
• デコーダの状態と各エンコーダ状態の間の適合スコアに基づき、エンコーダの隠れ状態の重み付け和を計算するアテンション機構を適用する。
• コンテキストベクトルを、すべてのエンコーダ状態の重み付け平均として計算するソフトアテンション機構を採用し、重みは適合関数によって決定される。
• 勾配のノルムの移動平均を用いて動的にスケーリングを調整する適応的しきい値による勾配リスケーリングを実装し、トレーニングの安定性を向上させる。
• ビーム幅を狭め（例：10）たビームサーチデコードを採用し、GTX480 GPU上でリアルタイム要因0.3を達成した。

実験結果

リサーチクエスチョン

• RQ1 アテンションに基づくRNNエンコーダ・デコーダモデルは、フレーム単位の明示的アライメントを必要とせずに、競争力のある音素認識性能を達成できるか？
• RQ2 提案されたエンド・トゥ・エンドモデルの性能は、TIMITデータセットにおける最先端のHMMベースのハイブリッドシステムと比べてどの程度か？
• RQ3 ビームサーチの代わりにグリーディデコードを用いた場合、モデルの性能はどの程度維持されるか？
• RQ4 HMM-DNNシステムで一般的な複雑なマルチステージトレーニング手順に依存せずに、モデルを効率的にトレーニングおよびチューニングできるか？
• RQ5 特に一時停止などの音声の不規則性が存在する状況でも、アテンション機構が各出力音素に適切な入力フレームを特定するのにどの程度効果的か？

主な発見

• モデルはTIMITテストセットで18.57%の音素誤り率を達成し、最先端のHMMベースのシステムと同等の性能を示した。
• ビームサーチと同様に、グリーディデコードでもほぼ同等の性能を発揮したため、デコーディング戦略に対して非常に頑健であり、その影響を受けにくいことが示された。
• リアルタイムデコードが可能であり、GTX480 GPU上でビーム幅10を用いた場合、リアルタイム要因0.3を達成した。
• 最小限のチューニングでよく、実装・トレーニングを1か月未満で完了したため、導入が容易であることが示された。
• アテンション機構により、モデルは期待される入力出力距離を学習でき、類似する入力フレームの区別を助け、アライメントの正確性を向上させた。
• 適応的しきい値による勾配リスケーリングは、特にトレーニング後期において、トレーニングの安定性を顕著に向上させた。