[論文レビュー] Non-Autoregressive Transformer ASR with CTC-Enhanced Decoder Input

Xingchen Song, Zhiyong Wu+4 more|arXiv (Cornell University)|Oct 28, 2020

Speech Recognition and Synthesis参考文献 18被引用数 4

ひとこと要約

本稿では、非自己回帰的（NAR）なTransformer ASRモデルを提案し、精度を向上させるために、グリーディなCTC予測をデコーダー入力に統合することで、自己回帰的ベースラインと比較して50倍高速な推論を実現する。CTC出力を修正することで、マスク処理やエンコーダー状態のコピーを避けることにより、Aishell-1およびAishell-2で最先端のNAR性能を達成し、強力な自己回帰的モデルと比較して絶対値で0.0–0.3%のCER低下に抑えている。

ABSTRACT

Non-autoregressive (NAR) transformer models have achieved significantly inference speedup but at the cost of inferior accuracy compared to autoregressive (AR) models in automatic speech recognition (ASR). Most of the NAR transformers take a fixed-length sequence filled with MASK tokens or a redundant sequence copied from encoder states as decoder input, they cannot provide efficient target-side information thus leading to accuracy degradation. To address this problem, we propose a CTC-enhanced NAR transformer, which generates target sequence by refining predictions of the CTC module. Experimental results show that our method outperforms all previous NAR counterparts and achieves 50x faster decoding speed than a strong AR baseline with only 0.0 ~ 0.3 absolute CER degradation on Aishell-1 and Aishell-2 datasets.

研究の動機と目的

• デコーダー入力における弱いまたは間接的なターゲット側の文脈が原因で生じる非自己回帰的（NAR）なTransformer ASRモデルの精度低下を是正すること。
• デコーダーに強力で関連性の高いターゲット側情報を提供することで、NARデコーディング性能を向上させること。
• NARモデルと自己回帰的（AR）モデルとの間のASR精度のギャップを縮小しつつ、高い推論速度を維持すること。
• CTC予測出力を直接的かつ情報豊かにNARデコーダーの改善に用いる有効性を評価すること。

提案手法

• モデルは、固定長のMASKシーケンスやエンコーダー状態のコピーを置き換えるために、グリーディなCTC予測を主なデコーダー入力として使用する。
• デコーダーは1回の順方向プロパゲーションでCTC予測を修正し、音声の文脈と部分的なターゲット側の文脈の両方を活用する。
• MP-CTCで用いられるマスキング機構を避ける代わりに、CTC出力を直接的にNARデコーダーのガイドとして使用する。
• CTCモジュールは長さの監督と初期のターゲットシーケンス推定を提供し、NARデコーダーがそれを修正する。
• デコーダーはCTC予測とエンコーディングされた音声特徴に条件付けられており、音声とターゲットシーケンスのモデリングを統合的に最適化できる。
• 本手法は、CTC損失とアテンション損失の両方を用いて学習され、CTC出力と最終予測との整合性を保証する。

実験結果

リサーチクエスチョン

• RQ1 CTC予測をデコーダー入力として用いることで、非自己回帰的Transformer ASRモデルの精度を向上させることができるか？
• RQ2 CTC出力による直接的なターゲット側文脈の提供が、NARとAR ASRモデルの間の性能ギャップを縮小するか？
• RQ3 CTC強化NARデコーダーは、大規模データセットでも高速な推論を実現しながら、競争力のある精度を維持できるか？
• RQ4 ST-NAR や MP-CTC といった既存のNARアプローチと比較して、本手法は速度と精度の両面で優れているか？

主な発見

• 提案されたNAR Transformerは、Aishell-1の開発セットで5.6%のCER、テストセットで6.3%のCERを達成し、これまでのすべてのNARモデルを上回った。
• Aishell-2では、iOSで7.1%、Micで8.0%、Androidで8.1%のCERを達成し、この大規模コーパスにおいても、これまでのすべてのNAR手法を上回った。
• 強力な自己回帰的ベースラインと比較して50倍高速な推論速度を達成し、CERの絶対値低下は0.0–0.3%にとどまった。
• CTC強化デコーダー入力により、意味のあるターゲット側文脈を提供することで、NARタスクの難易度が低下し、一般化性能とアライメントが向上した。
• Aishell-1およびAishell-2の両方で、NARモデルとしての最先端性能を達成し、産業規模のLVCSRタスクにおける有効性を示した。
• 推論速度では強力なARベースラインを上回りながら、同等の精度を維持しているため、リアルタイム応用に極めて適している。