[論文レビュー] Mask CTC: Non-Autoregressive End-to-End ASR with CTC and Mask Predict

Yosuke Higuchi, Shinji Watanabe+3 more|arXiv (Cornell University)|May 18, 2020

Speech Recognition and Synthesis参考文献 29被引用数 6

ひとこと要約

Mask CTC は、CTC アライメントとトークン間の条件付き依存関係を活用して、マスク予測を繰り返し行い低信頼度トークンを精錬することで CTC の出力を改善する非自己回帰的エンドツーエンド ASR フレームワークである。非自己回帰モデルの中で最先端の性能を達成し、WSJ では WER を 17.9% から 12.1% に低下させ、CPU で 0.07 RTF の推論速度を達成し、自己回帰モデルに近い性能を発揮する。

ABSTRACT

We present Mask CTC, a novel non-autoregressive end-to-end automatic speech recognition (ASR) framework, which generates a sequence by refining outputs of the connectionist temporal classification (CTC). Neural sequence-to-sequence models are usually extit{autoregressive}: each output token is generated by conditioning on previously generated tokens, at the cost of requiring as many iterations as the output length. On the other hand, non-autoregressive models can simultaneously generate tokens within a constant number of iterations, which results in significant inference time reduction and better suits end-to-end ASR model for real-world scenarios. In this work, Mask CTC model is trained using a Transformer encoder-decoder with joint training of mask prediction and CTC. During inference, the target sequence is initialized with the greedy CTC outputs and low-confidence tokens are masked based on the CTC probabilities. Based on the conditional dependence between output tokens, these masked low-confidence tokens are then predicted conditioning on the high-confidence tokens. Experimental results on different speech recognition tasks show that Mask CTC outperforms the standard CTC model (e.g., 17.9% -> 12.1% WER on WSJ) and approaches the autoregressive model, requiring much less inference time using CPUs (0.07 RTF in Python implementation). All of our codes will be publicly available.

研究の動機と目的

• 出力トークン間の強い条件付き独立性仮定により性能が劣化する標準 CTC の限界を是正する。
• 非自己回帰モデルにおける出力長の予測の課題を、出力長を予測する代わりに、グリーディ CTC 出力で初期化することで克服する。
• 低信頼度トークンのみを精錬することで、最小限の計算オーバーヘッドで高速かつ並列推論を実現しながら、高い精度を維持する。
• 複雑な繰り返し精錬や長さ予測を必要とせず、非自己回帰的と自己回帰的 ASR モデルの性能ギャップを埋める。
• 多様な言語に強く、低推論遅延でリアルタイム導入に適したフレームワークを開発する。

提案手法

• 訓練段階で、CTC とマスク予測の目的関数を併用して、Transformer エンコーダ・デコーダモデルを共同で学習する。
• 推論段階で、すでに大多数のトークンについて高い正確性を示すグリーディ CTC 出力を使って、ターゲットシーケンスを初期化する。
• CTC 確率の信頼度閾値を用いて、CTC 出力内の低信頼度トークンを特定する。
• 過去および未来のマスクされていないトークンと入力音声特徴量に条件づけて、低信頼度トークンを繰り返し予測する。
• 少ないマスク予測ステップ数（例：K=5）で繰り返し精錬を実行し、各ステップで 1 つまたは複数のマスクされたトークンを予測する。
• トークン間の条件付き依存関係を活用して誤り訂正を実現するが、CTC が保証する固定シーケンス長を維持する。

実験結果

リサーチクエスチョン

• RQ1 出力長の予測を必要とせず、自己回帰モデルに近い性能を達成できる非自己回帰的 ASR モデルは実現可能か？
• RQ2 低信頼度 CTC トークンの繰り返し精錬は、高速な推論速度を維持しながら認識精度を向上させられるか？
• RQ3 推論段階で CTC 確率に基づくマスク予測は、ランダムマスクに比べてどれほど有効か？
• RQ4 特に小さな単位（例：ラテン文字）を持つ言語やトークン化方式に対しても、このフレームワークは一般化可能か？
• RQ5 固定 CTC 長を保つことで、挿入・削除誤りに対して感受性が低く、同時に誤り訂正が効果的に可能か？

主な発見

• Mask CTC は WSJ データセットで WER を 17.9% から 12.1% に低下させ、標準 CTC より顕著に優れており、自己回帰モデルに近い性能を達成した。
• CSJ（日本語）データセットでは、同じ評価セットで自己回帰的 CTC-attention モデル（5.40%）よりも同等または優れた CER（4.97%）を達成した。
• Python 実装を用いた CPU 上で 0.07 RTF の推論速度を達成し、自己回帰モデルの 116 倍高速であった。
• 全評価セットで文単位誤り率（SER）が向上し、文脈依存性モデリングにより誤りが効果的に是正されていることが示された。
• 小さなトークン単位（例：ラテン文字）を持つ言語では、置換誤りが頻発するが、それらは文脈によって是正可能であり、性能向上が顕著に現れた。
• データサイズや言語タイプの変動に対してもロバストであり、Voxforge（標準 CTC より WER が低かった）および CSJ で一貫した改善が得られた。