[論文レビュー] A Comparative Study on Non-Autoregressive Modelings for Speech-to-Text Generation

Yosuke Higuchi, Nanxin Chen+7 more|arXiv (Cornell University)|Oct 11, 2021

Speech Recognition and Synthesis被引用数 7

ひとこと要約

本稿では、Conformerアーキテクチャを用いたESPnetを用いたエンドツーエンド音声認識における非自己回帰（NAR）モデル手法の包括的比較研究を提示する。Mask-CTC、Align-Denoise、挿入Transformer、CTCベースの変種など複数のNAR手法を、ASRおよび音声翻訳タスクで評価し、中間CTCとMask-CTCを組み合わせることで推論コストを増加させずに精度が向上すること、またNARモデルが競争力のある性能を示しながらも音声翻訳タスクに効果的に適用可能であることを示している。

ABSTRACT

Non-autoregressive (NAR) models simultaneously generate multiple outputs in a sequence, which significantly reduces the inference speed at the cost of accuracy drop compared to autoregressive baselines. Showing great potential for real-time applications, an increasing number of NAR models have been explored in different fields to mitigate the performance gap against AR models. In this work, we conduct a comparative study of various NAR modeling methods for end-to-end automatic speech recognition (ASR). Experiments are performed in the state-of-the-art setting using ESPnet. The results on various tasks provide interesting findings for developing an understanding of NAR ASR, such as the accuracy-speed trade-off and robustness against long-form utterances. We also show that the techniques can be combined for further improvement and applied to NAR end-to-end speech translation. All the implementations are publicly available to encourage further research in NAR speech processing.

研究の動機と目的

• 最先端の設定下で、エンドツーエンド自動音声認識（ASR）における多様な非自己回帰（NAR）モデル手法を公平かつ包括的に比較すること。
• 異なるNARアーキテクチャ間における推論速度と認識精度のトレードオフを分析すること。
• 長時間音声およびノイズ混在音声入力に対するNARモデルの耐性を調査すること。
• 複数のNAR手法を組み合わせることで性能向上が達成できるかを検討すること。
• NARモデルの適用範囲をエンドツーエンド音声翻訳（E2E-ST）タスクへ拡張すること。

提案手法

• ESPnetフレームワーク内での13種類のNARモデル（CTC、Mask-CTC、改良版Mask-CTC、Align-Denoise、挿入Transformer、KERMIT、中間CTC、自己条件付きCTC、CIF-NA）の評価。
• すべてのモデルに16kHzのワードピeceサブワードユニットを用いたConformerベースのエンコーダデコーダアーキテクチャを適用。
• Align-DenoiseやCMLMにインspiredされたモデルにおける反復的リファインメントおよびリファインメントトレーニング技術を適用し、系列生成性能を向上。
• 中間CTCや自己条件付きCTCのような正則化技術を統合し、トレーニングの安定化とアライメントの改善を図る。
• シーケンスレベルの知識蒸留および事前学習済みのAR ASRエンコーダーを用いてE2E-STのファインチューニングを実施。
• 速度-精度トレードオフを評価するため、フレームレベルおよびトークンレベルの処理ユニットを有するマルチステージデコードを実装。

Fig. 1 : Illustrations of autoregressive and non-autoregressive ASR.

実験結果

リサーチクエスチョン

• RQ1 標準的なASRベンチマークにおいて、異なるNARモデル手法が語誤り率（WER）および推論速度の観点でどのように比較されるか？
• RQ2 ノイズ混在および長時間音声入力がNARモデルの耐性に与える影響は何か？
• RQ3 Mask-CTCと中間CTCを組み合わせるなど、複数のNAR手法を統合することで、推論コストを増加させずに性能向上が達成できるか？
• RQ4 自己回帰ベースラインと比較して、NARモデルはエンドツーエンド音声翻訳（E2E-ST）においてどれほど効果的か？
• RQ5 処理ユニット（フレーム対トークン）やイテレーション回数といった、NARアーキテクチャのどの要素がモデル性能に最も顕著に影響を与えるか？

主な発見

• 中間CTCによるファインチューニングを施したMask-CTCは、LS-100テストセットにおいてWERを7.5%から7.2%に低下させ、正則化が推論コストを増加させずにNAR ASRの性能向上に寄与することを示した。
• CHiME4ノイズ混在音声ベンチマークでは、すべてのNARモデルが標準CTCを上回り、Mask-CTCは実用的発話で24.9%、シミュレート発話で25.8%のWERを達成した。
• 自己条件付きCTCはクリーンなLS-100で14.6%の最良WERを達成した一方、OrthrosはE2E-STのFisher-CallHomeスペイン語テストセットで20.7の最高BLEUスコアを記録した。
• Mask-CTCと中間CTCの組み合わせにより、LS-100ではWERが0.3ポイント、CHiME4では0.8ポイント低下し、アーキテクチャ的工夫と正則化技術の相乗効果が確認された。
• NARモデルは低品質・ノイズ混在入力に対しては性能が低下しやすく、自己回帰モデルと比較して音声特徴に依存が強く、トークン間の依存関係を弱くモデル化していることが示唆された。
• 事前学習済みのARエンコーダーと知識蒸留を用いることで、NAR E2E-ST性能が顕著に向上し、OrthrosはNARモデルの中で最先端の結果を達成した。

Fig. 2 : Comparison of NAR and AR (CTC/attention) models evaluated on different output sequence length. WERs are compared among the models (top), and the error components are compared between AR and Self-conditioned CTC (bottom).