[論文レビュー] Attention-Based Models for Speech Recognition

Jan Chorowski, Dzmitry Bahdanau+3 more|arXiv (Cornell University)|Jun 24, 2015

Multimodal Machine Learning Applications参考文献 31被引用数 1,780

ひとこと要約

この論文は、位置に敏感な畳み込み特徴量と正規化されたアライメント機構を用いて、注意メカニズムを強化した、エンドツーエンドの音声認識を目的とした注意に基づく再帰的シーケンス生成器を提案する。モデルはTIMITで17.6%の音素誤り率を達成し、学習データよりも11倍長い発話に対してもロバストに一般化でき、標準的なアテンション機構では長時間のシーケンスで位置追跡の飽和が生じるため失敗するベースラインモデルを上回る性能を示した。

ABSTRACT

Recurrent sequence generators conditioned on input data through an attention mechanism have recently shown very good performance on a range of tasks in- cluding machine translation, handwriting synthesis and image caption gen- eration. We extend the attention-mechanism with features needed for speech recognition. We show that while an adaptation of the model used for machine translation in reaches a competitive 18.7% phoneme error rate (PER) on the TIMIT phoneme recognition task, it can only be applied to utterances which are roughly as long as the ones it was trained on. We offer a qualitative explanation of this failure and propose a novel and generic method of adding location-awareness to the attention mechanism to alleviate this issue. The new method yields a model that is robust to long inputs and achieves 18% PER in single utterances and 20% in 10-times longer (repeated) utterances. Finally, we propose a change to the at- tention mechanism that prevents it from concentrating too much on single frames, which further reduces PER to 17.6% level.

研究の動機と目的

• 注意に基づくシーケンス生成を用いたエンドツーエンドでトレーニング可能な音声認識モデルの開発。
• 標準的なアテンション機構が短い入力では良好に動作するが、長時間の音声入力では内部的な位置追跡に起因する失敗を解消すること。
• 位置に敏感なアテンションとアライメントの平滑化を導入することで、長時間およびノイジーな入力シーケンスに対するロバスト性を向上させること。
• 単一のフレームに過剰に集中するのを防ぐために、正規化されたアテンションメカニズムを導入すること。
• 標準的および人工的に延長された発話を持つTIMITの音素認識ベンチマークでモデルの性能を評価すること。

提案手法

• コンテンツベースのアテンションと、以前のアテンション重みを可学習フィルタで畳み込むことで得られる位置に敏感な特徴量を組み合わせたハイブリッドアテンション機構を導入。
• 1次元畳み込みフィルタを以前のアライメントベクトルに適用し、位置的情報をエンコードする補助特徴量を生成。
• ソフトプラス活性化関数を用いたドット積を用いた正規化されたアテンションメカニズムを実装し、単一フレームへの過剰な集中を防ぐ。
• デコード中に強制アライメントの品質を向上させるために、ウィンドウ処理や温度スケーリングなどのアライメント鋭化技術を適用。
• 音素シーケンスの交差エントロピー損失を用いて、時間方向にバックプロパゲーションを適用し、エンドツーエンドでモデルをトレーニング。
• 一般化性能をテストするために、元の発話と連結（より長い）発話を用いてTIMITで性能を評価。

実験結果

リサーチクエスチョン

• RQ1 長時間の入力シーケンスを持つ音声認識に、注意に基づくシーケンス生成器を効果的に適用できるか？
• RQ2 短い入力では良好な性能を示すにもかかわらず、なぜ標準的なアテンション機構は長時間の音声入力で失敗するのか？
• RQ3 位置認識を組み込むことで、アテンション機構をどのように長時間シーケンスに耐性を持たせられるか？
• RQ4 単一フレームへの過剰な集中を防ぐためにアテンションを正規化することで、認識精度が向上するか？
• RQ5 提案されたアテンション機構は、学習時に見られなかった長さのシーケンスにも一般化できるか？

主な発見

• ベースラインモデルは標準的なTIMITテストセットで18.7%の音素誤り率（PER）を達成したが、連結された長時間の発話では内部的な位置追跡に起因する失敗を示した。
• 提案された位置に敏感なアテンション機構により、単一発話ではPERが18.0%に低下し、11倍長い発話でも20%未満のPERを維持した。
• 正規化されたアテンション機構を導入することで、個々のフレームへの過剰な集中を防ぎ、PERが17.6%にさらなる低下を達成した。
• 畳み込みによる位置特徴量を有するモデルは、200音素に達するシーケンスを正常にアライメントできたが、ベースラインモデルは約40音素で失敗した。
• ウィンドウ処理や温度スケーリングなどのアライメント鋭化技術は、特に位置に敏感なモデルにおいて、アライメント品質を顕著に向上させた。
• 位置に敏感なモデルは、繰り返し発話に対しては連結発話よりもロバスト性を示したが、これは多様な入力における不要なフレームへの感受性を示唆している。