[論文レビュー] WNARS: WFST based Non-autoregressive Streaming End-to-End Speech Recognition

Zhichao Wang, Wenwen Yang+2 more|arXiv (Cornell University)|Apr 8, 2021

Speech Recognition and Synthesis参考文献 29被引用数 9

ひとこと要約

WNARSは、WFSTに基づく非自己回帰的ストリーミング端末間ASRフレームワークを提案する。このフレームワークは、CTC-attentionモデルとWFSTデコードを組み合わせることで、自己回帰的アテンションベースのモデルにおけるデコード効率の低さ、単語レベル言語モデル統合の難しさ、ストリーミング非対応の問題を解決する。640msの遅延でAISHELL-1で5.22%のCERを達成し、先行するストリーミングシステムおよび10,000時間分の産業ベースライン（強力なベースライン）を20%以上も誤差率低減で上回り、遅延は50%低減された。

ABSTRACT

Recently, attention-based encoder-decoder (AED) end-to-end (E2E) models have drawn more and more attention in the field of automatic speech recognition (ASR). AED models, however, still have drawbacks when deploying in commercial applications. Autoregressive beam search decoding makes it inefficient for high-concurrency applications. It is also inconvenient to integrate external word-level language models. The most important thing is that AED models are difficult for streaming recognition due to global attention mechanism. In this paper, we propose a novel framework, namely WNARS, using hybrid CTC-attention AED models and weighted finite-state transducers (WFST) to solve these problems together. We switch from autoregressive beam search to CTC branch decoding, which performs first-pass decoding with WFST in chunk-wise streaming way. The decoder branch then performs second-pass rescoring on the generated hypotheses non-autoregressively. On the AISHELL-1 task, our WNARS achieves a character error rate of 5.22% with 640ms latency, to the best of our knowledge, which is the state-of-the-art performance for online ASR. Further experiments on our 10,000-hour Mandarin task show the proposed method achieves more than 20% improvements with 50% latency compared to a strong TDNN-BLSTM lattice-free MMI baseline.

研究の動機と目的

• 自己回帰的ビームサーチデコードの非効率性を解消すること。
• 自己回帰的デコードでは難しいが、エンドツーエンドASRシステムへの単語レベル言語モデルの効果的統合を可能にすること。
• グローバルアテンションをチャンク単位のCTCデコードに変換することで、低遅延推論を可能にするストリーミングASRを実現すること。
• ストリーミング非自己回帰設定において、認識精度と遅延の両方を向上させること。
• CTC-attentionモデルとWFSTの組み合わせが、ストリーミング可能でスケーラブルかつプロダクション運用に適したASRを実現できることを示すこと。

提案手法

• ハイブリッドCTC-アテンションアーキテクチャを採用し、CTCブランチがWFSTを用いて効率的な単語レベル言語モデル統合を実現する初回のストリーミングデコードを実行する。
• デコーダーブランチが、エンコーダー出力を全量利用してCTCブランチが生成した仮説をもとに、非自己回帰的第二段階の再スコアリングを実行する。
• 遅延と性能のバランスを取るために、設定可能な左、中央、右のコンテキストサイズ（N_l, N_c, N_r）を持つマルチチャンク推論戦略を採用する。
• CTCブランチでWFSTデコードを用いることで、初回の仮説生成段階で単語レベル言語モデルを効率的に適用する。
• モノトニックアライメントを促進し、学習安定性を向上させるために、ハイブリッドCTC-アテンション損失関数を用いてモデルを学習する。
• コンフォーマーに基づくエンコーダーとデコーダーを採用し、文脈モデリングにマルチヘッド自己アテンションと畳み込みモジュールを活用する。

実験結果

リサーチクエスチョン

• RQ1 非自己回帰的かつストリーミング可能なASRシステムは、低遅延を維持しながら最先端の精度を達成できるか？
• RQ2 WFSTベースのデコードを用いることで、エンドツーエンドASRシステムへの単語レベル言語モデル統合はどの程度効果的か？
• RQ3 ハイブリッドアーキテクチャにおけるCTCとアテンションの組み合わせは、精度を損なわず、効率的かつ低遅延のストリーミングデコードを可能にするか？
• RQ4 マルチチャンク処理は、ストリーミングASRにおける遅延と認識性能のトレードオフにどのように影響するか？
• RQ5 提案されたフレームワークは、大規模かつ現実世界の設定において、強力な従来のASRベースラインを上回る性能を示せるか？

主な発見

• WNARSは、640msの遅延でAISHELL-1テストセットにおいて5.22%の文字誤り率（CER）を達成し、同等の遅延条件下でのオンラインASRにおける最先端性能を示した。
• 960msの遅延で非ストリーミングベースライン（4.57% CER）と比較して0.65%の絶対CER低下を示し、遅延制約に対する高いロバストネスを確認した。
• 1900ms対比で50%の遅延低減（960ms）を達成したWNARSは、10,000時間分の中国語データセットにおける強力なTDNN-BLSTM LFMMIベースラインと比較して、密着話者セットで20.3%、遠方話者セットで20.4%のCER低減を達成した。
• 単語レベル言語モデル統合にWFSTを用いることで、文字レベルLM統合と比較して相対的に10.6%のCER低減が確認され、単語レベルLM統合の利点が裏付けられた。
• 遅延を960msから480msに短縮した場合でも、CERの絶対低下はわずか0.18%にとどまり、遅延変動に対する強いロバストネスを示した。
• マルチチャンク戦略により、さまざまな遅延設定でも安定した性能を維持でき、遅延が固定された状態で右コンテキスト（N_r）を長くすることで、精度が向上した。