[論文レビュー] Streaming Chunk-Aware Multihead Attention for Online End-to-End Speech Recognition

Shiliang Zhang, Zhifu Gao+5 more|arXiv (Cornell University)|May 21, 2020

Speech Recognition and Synthesis参考文献 31被引用数 13

ひとこと要約

本稿では、オンラインエンドツーエンド音声認識のためのストリーミング・チャンク認識マルチヘッド自己注意機構（SCAMA）と、遅延制御付きメモリ搭載自己注意ネットワーク（LC-SAN-M）を提案する。チャンクレベルのエンコーダー状態に基づいて予測器を共同で学習させることで、最小限の性能低下で低遅延ストリーミング推論を実現し、外部言語モデルを用いない状態でAISHELL-1で7.39%のCERを達成した。これは、現在のところ、外部言語モデルを用いないオンラインエンドツーエンドASRにおける最先端の結果である。

ABSTRACT

Recently, streaming end-to-end automatic speech recognition (E2E-ASR) has gained more and more attention. Many efforts have been paid to turn the non-streaming attention-based E2E-ASR system into streaming architecture. In this work, we propose a novel online E2E-ASR system by using Streaming Chunk-Aware Multihead Attention(SCAMA) and a latency control memory equipped self-attention network (LC-SAN-M). LC-SAN-M uses chunk-level input to control the latency of encoder. As to SCAMA, a jointly trained predictor is used to control the output of encoder when feeding to decoder, which enables decoder to generate output in streaming manner. Experimental results on the open 170-hour AISHELL-1 and an industrial-level 20000-hour Mandarin speech recognition tasks show that our approach can significantly outperform the MoChA-based baseline system under comparable setup. On the AISHELL-1 task, our proposed method achieves a character error rate (CER) of 7.39%, to the best of our knowledge, which is the best published performance for online ASR.

研究の動機と目的

• フルアテンション機構をストリーミングエンドツーエンドASRに適用する課題に対処すること。フルシーケンスアテンションはストリーミングではなく、実用的ではない。
• 固定ハイパーパrameter（窓サイズやしきい値）による性能劣化を低減すること。これらは現実世界の状況では頑健性に欠ける。
• 動的かつ学習可能なチャンクベースの制御により、強力な文脈モデリングを維持しながら低遅延推論を実現するストリーミングアテンション機構を開発すること。
• 特に大規模な産業用データセットにおいて、外部言語モデルに依存せずに、オンラインASRで最先端の性能を達成すること。

提案手法

• エンコーダー出力をチャンクレベルの入力で制約することで遅延を制御する、メモリ搭載自己注意（SAN-M）の遅延制御版であるLC-SAN-Mを提案する。
• 共同で学習された予測器を用いて、1入力チャンクあたりのトークン数を推定することで、動的デコーダー活性化を可能にするストリーミングマルチヘッドアテンション機構SCAMAを導入する。
• 予測器はCTC損失ではなく交差エントロピー損失で学習されるため、CTCベースのトリガー手法と比較して、学習と推論の不一致が軽減される。
• SCAMAは、関連するエンコーダーチャンクのみに注目することで、将来の文脈を制限し、長距離依存性を保持しながらストリーミング能力を維持する。
• 標準的なTransformerベースのエンコーダ-デコーダアーキテクチャにマルチヘッドアテンションを適用するが、デコーディング時にチャンク認識マスクと動的アテンション制御を適用する。
• エンコーダー、デコーダー、トークン予測ヘッドの共同最適化によりエンドツーエンドで学習され、外部監視なしにアライメントと文脈モデリングが可能になる。

実験結果

リサーチクエスチョン

• RQ1 学習可能でチャンク認識のアテンション機構は、固定しきい値や窓ベースのアテンションと比較して、オンラインASRにおける性能劣化を低減できるか？
• RQ2 CTCベースのトリガーを交差エントロピーで学習した予測器に置き換えることで、ストリーミングASRにおける推論の頑健性と性能が向上するか？
• RQ3 SCAMAは、ストリーミング設定下で非ストリーミングに近い性能を達成できるか？
• RQ4 大規模な産業用ASRタスクにおいて、SCAMAはMoChAや他のオンラインアテンション機構と比較して優れているか？

主な発見

• 170時間のAISHELL-1データセットにおいて、提案されたSCAMAベースのシステムは、文字誤り率（CER）が7.39%に達し、著者らの知る限り、外部言語モデルを用いないオンラインエンドツーエンドASRにおける最先端の結果である。
• チャンクサイズ10のLC-SAN-Mエンコーダーは、フルシーケンスアテンションベースラインと比較して7%の相対的性能劣化を示しており、遅延制御がわずかだが測定可能なコストをもたらすことを示している。
• フルシーケンスアテンションをSCAMAに置き換えると、6.8%の相対的性能劣化が生じるが、これはMoChAベースのシステムで見られる劣化と比較して顕著に低い。
• 20,000時間の産業用中国語ASRタスクにおいて、SCAMAベースのシステムは、同等の遅延制約下でCTCおよびMoChAベースのシステムを上回った。
• 32枚のV100 GPUを用いた場合、SCAMAモデルの学習速度はMoChAの3倍速く、学習効率の向上が示された。
• 可視化の結果、フルアテンション機構は単なるアライメントを超えた文脈モデリングを実行していることが示され、長距離依存性を保持しつつストリーミングを可能にする機構（例：SCAMA）の必要性が裏付けられた。