[論文レビュー] Improved Mask-CTC for Non-Autoregressive End-to-End ASR

Yosuke Higuchi, Hirofumi Inaguma+3 more|arXiv (Cornell University)|Oct 26, 2020

Speech Recognition and Synthesis参考文献 45被引用数 6

ひとこと要約

この論文は、Conformerエンコーダーの統合と、補助学習およびデコードによる動的長さ予測を導入することで、非自己回帰的エンドツーエンド自動音声認識のMask-CTCを改善した。これにより、CTC出力における挿入誤りと削除誤りの是正が可能となり、WSJ eval92で9.1%のWERを達成。これは標準CTCを上回り、自己回帰モデルと同等の性能を発揮した。また、CPU上で0.1 RTF未満の推論速度を維持した。

ABSTRACT

For real-world deployment of automatic speech recognition (ASR), the system is desired to be capable of fast inference while relieving the requirement of computational resources. The recently proposed end-to-end ASR system based on mask-predict with connectionist temporal classification (CTC), Mask-CTC, fulfills this demand by generating tokens in a non-autoregressive fashion. While Mask-CTC achieves remarkably fast inference speed, its recognition performance falls behind that of conventional autoregressive (AR) systems. To boost the performance of Mask-CTC, we first propose to enhance the encoder network architecture by employing a recently proposed architecture called Conformer. Next, we propose new training and decoding methods by introducing auxiliary objective to predict the length of a partial target sequence, which allows the model to delete or insert tokens during inference. Experimental results on different ASR tasks show that the proposed approaches improve Mask-CTC significantly, outperforming a standard CTC model (15.5% $ ightarrow$ 9.1% WER on WSJ). Moreover, Mask-CTC now achieves competitive results to AR models with no degradation of inference speed ($

研究の動機と目的

• 計算リソースが限られた実世界の展開を想定した場合に、非自己回帰的（NAR）と自己回帰的（AR）エンドツーエンドASRモデルの性能格差を是正すること。
• CTC出力の品質と固定長さに制限されるため、トークン生成に根強い誤りを生じるMask-CTCの限界を克服すること。
• NARモデルの高速かつ並列的推論速度を損なわずに、推論中に挿入誤りと削除誤りを動的に是正できること。
• 改善されたMask-CTCフレームワークが、エンドツーエンド音声翻訳（E2E-ST）への応用可能性を検討すること。

提案手法

• Mask-CTCにおける標準的なTransformerエンコーダーを、音声表現学習の向上を図るConformerアーキテクチャに置き換える。
• 推論中に部分的ターゲット系列の長さを予測する新たな補助学習目的を導入し、モデルが動的にトークンを挿入または削除できるようにする。
• 予測された長さをもとにマスク予測の精練を誘導するデコード戦略を設計し、CTC出力の誤りを反復的に是正可能にする。
• CTC出力を初期化するために、信頼度フィルタリングと制限付きマスク予測（MP）デコードを適用し、音声翻訳における安定性と性能を向上させる。
• E2E-STタスクにおけるNARモデルに対して、シーケンスレベルの知識蒸留を実装し、推論複雑度を増加させることなく生成品質を向上させる。
• 各イテレーションにおけるマスクトークンの数を制限する制約付きマスク予測メカニズムを実装し、イテレーション間でCTC出力からの情報を保持する。

実験結果

リサーチクエスチョン

• RQ1 推論速度を低下させることなく、Mask-CTCの性能を著しく改善できるか？
• RQ2 Conformerエンコーダーは、CTC出力品質を向上させ、結果として全体のMask-CTC性能をどの程度向上できるか？
• RQ3 推論中に動的長さ予測を適用することで、CTC出力における挿入誤りと削減誤りを効果的に是正できるか？
• RQ4 改善されたMask-CTCフレームワークは、エンドツーエンド音声翻訳などの他のシーケンス・ツー・シーケンスタスクにも一般化可能か？
• RQ5 動的長さ予測をMask-CTCに適用した場合、推論速度と精度のトレードオフはどの程度か？

主な発見

• Conformerと動的長さ予測（DLP）を統合した改善版Mask-CTCは、WSJ eval92で9.1%のWERを達成。これは標準CTC（15.5%）を上回り、最先端の自己回帰モデルと同等の性能を発揮した。
• モデルはCPU上で0.1 RTF未満の推論速度を維持した。これは、非自己回帰モデルの主な利点である極めて高速な推論が損なわれていないことを確認した。
• VoxforgeとTEDLIUM2でも、改善版Mask-CTCは自己回帰モデルと同等の性能を達成し、多様なASRデータセットにわたる一般化能力を示した。
• DLP手法はWSJではCTC出力の誤りを効果的に是正したが、TEDLIUM2では限定的な向上にとどまった。これは、すでに高精度なConformerベースのCTCモデルが実装されていたためと考えられる。
• Fisher-CallHomeスペイン語音声翻訳タスクにおいて、改善版Mask-CTCは自己回帰ベースラインを上回り、開発セットで49.94 BLEU、テストセットで48.66 BLEUを達成した。多言語翻訳タスクへの強い一般化能力を示した。
• CTC由来の情報をイテレーション間で保持する制限付きマスク予測デコード戦略が、音声翻訳タスクで最大の性能向上をもたらした。これは、非単調アライメントタスクにおいてその重要性を示している。