[論文レビュー] An Online Attention-based Model for Speech Recognition

Ruchao Fan, Pan Zhou+3 more|arXiv (Cornell University)|Nov 13, 2018

Speech Recognition and Synthesis参考文献 29被引用数 6

ひとこと要約

本論文は、LASにおける双方向エンコーダーとグローバルソフトアテンションを、遅延制御可能な双方向LSTMと適応的モノトニックチャンクワイズアテンションに置き換えることで、オンラインの注目ベース音声認識モデルLC-AMoChAを提案する。中国語コーパスにおいて、オフラインベースラインと比較してわずか3.5%の相対的WER劣化に抑えている。

ABSTRACT

Attention-based end-to-end models such as Listen, Attend and Spell (LAS), simplify the whole pipeline of traditional automatic speech recognition (ASR) systems and become popular in the field of speech recognition. In previous work, researchers have shown that such architectures can acquire comparable results to state-of-the-art ASR systems, especially when using a bidirectional encoder and global soft attention (GSA) mechanism. However, bidirectional encoder and GSA are two obstacles for real-time speech recognition. In this work, we aim to stream LAS baseline by removing the above two obstacles. On the encoder side, we use a latency-controlled (LC) bidirectional structure to reduce the delay of forward computation. Meanwhile, an adaptive monotonic chunk-wise attention (AMoChA) mechanism is proposed to replace GSA for the calculation of attention weight distribution. Furthermore, we propose two methods to alleviate the huge performance degradation when combining LC and AMoChA. Finally, we successfully acquire an online LAS model, LC-AMoChA, which has only 3.5% relative performance reduction to LAS baseline on our internal Mandarin corpus.

研究の動機と目的

• エンドツーエンドの注目ベース音声認識モデル（例：LAS）におけるリアルタイムでストリーミング可能な推論を可能にすること。
• 双方向エンコーダーとグローバルソフトアテンション機構によって引き起こされる遅延ボトルネックを克服すること。
• 音声の特性に応じてチャンクサイズを動的に適応させる注目メカニズムを設計し、より良いストリーミング性能を実現すること。
• オンラインASRにおいて、遅延制御型符号化と適応的アテンションを組み合わせた際の性能劣化を最小限に抑えること。

提案手法

• LASにおける標準的な双方向LSTMエンコーダーを、前方計算遅延を低減するための遅延制御型（LC）双方向LSTMに置き換える。
• 固定サイズではなく、フィードフォワードネットワークを用いて可変的なチャンク長を予測する、適応的モノトニックチャンクワイズアテンション（AMoChA）を導入する。
• 2つの補償技術を適用する：(1) 未来のリスナーフィーチャーの平均化、(2) 未来のアテンション確率の平均化により、アライメント境界を安定化させる。
• LC-BLSTMとAMoChAを組み合わせた際の収束性と性能を向上させるために、事前学習済みモデルを初期化に用いる。
• AMoChAメカニズムを実装する際には、可変チャンク上でエネルギースコアを計算し、各チャンク内でのソフトアテンションを適用する。
• 変更を加えたエンコーダーとアテンションメカニズムを、一方向スパイラーを備えたストリーミングLASフレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 遅延制御型双方向LSTMは、オンラインLASシステムにおいてエンコーダー遅延を低減しつつ、ASR性能を維持できるか？
• RQ2 適応的チャンクワイズアテンション（AMoChA）は、固定サイズチャンク分割よりもストリーミング注目ベースASRで優れた性能を発揮できるか？
• RQ3 LC-BLSTMとAMoChAを組み合わせた際、顕著な性能劣化が生じる原因は何か？ そして、その原因をどのように緩和できるか？
• RQ4 オンラインLASモデルの性能は、オフラインベースラインと比較してどの程度維持できるか？

主な発見

• LC-AMoChAモデルは、中国語音声コーパスにおいて、オフラインLASベースラインと比較してわずか3.5%の相対的語誤り率（WER）劣化を達成した。
• 補償手法を適用しないLC-BLSTMとAMoChAの組み合わせでは、アテンション境界のずれにより13.1%の相対的WER劣化が生じた。
• 2番目の補償手法（10ステップ分の未来アテンション確率を平均化）を適用することで、LC-MoChAモデルの劣化は5%の相対的値にまで低下した。
• LC-AMoChAに同じ補償手法を適用した場合、最良の結果が得られ、わずか3.5%の相対的劣化に抑えられた。これにより、提案手法の有効性が確認された。
• 未来確率の平均化を用いることで、LC-AMoChAのアテンションウェイト分布が、より前向きで関連性の高いエンコーダーステートに向かって適切に再配分された。
• 学習された長さ予測を用いた適応的チャンク分割は、ストリーミングASRにおけるアライメント安定性と性能向上に寄与することが示された。