[論文レビュー] Spike-Triggered Non-Autoregressive Transformer for End-to-End Speech Recognition

Zhengkun Tian, Jiangyan Yi+4 more|arXiv (Cornell University)|May 16, 2020

Natural Language Processing Techniques参考文献 21被引用数 10

ひとこと要約

本稿では、CTCモジュールを用いてターゲット系列長を予測し、スパイクのような事後確率によってデコーダ入力をトリガーする、エンドツーエンド音声認識のためのスパイク発火非自己回帰型トランスフォーマー（ST-NAT）を提案する。モデルはAISHELL-1で7.67%の語誤り率を達成しながら、リアルタイム要因0.0056を達成し、すべての主流モデルを上回る。

ABSTRACT

Non-autoregressive transformer models have achieved extremely fast inference speed and comparable performance with autoregressive sequence-to-sequence models in neural machine translation. Most of the non-autoregressive transformers decode the target sequence from a predefined-length mask sequence. If the predefined length is too long, it will cause a lot of redundant calculations. If the predefined length is shorter than the length of the target sequence, it will hurt the performance of the model. To address this problem and improve the inference speed, we propose a spike-triggered non-autoregressive transformer model for end-to-end speech recognition, which introduces a CTC module to predict the length of the target sequence and accelerate the convergence. All the experiments are conducted on a public Chinese mandarin dataset AISHELL-1. The results show that the proposed model can accurately predict the length of the target sequence and achieve a competitive performance with the advanced transformers. What's more, the model even achieves a real-time factor of 0.0056, which exceeds all mainstream speech recognition models.

研究の動機と目的

• 非自己回帰型音声認識モデルにおけるターゲット系列長の不正確または非最適な推定の課題に対処する。
• スパイク発火注意機構を用いて動的にターゲット長を決定することで、不要な計算を削減し、推論速度を向上させる。
• CTCモジュールの出力を長さ予測子および注意誘導入力として活用することで、モデルの収束性と性能を向上させる。
• 特に低遅延応用を想定し、認識精度を損なわず高速推論を達成する。
• 神経言語モデルを統合することで認識品質をさらに向上させつつ、高速な推論速度を維持する。

提案手法

• ターゲットトークンの位置を示すスパイクのような事後確率を生成するため、CTCモジュールを導入する。
• スパイク位置におけるエンコーダ状態をデコーダの主な入力とし、固定長のマスク系列を置き換える。
• 推論中にスパイク数を数えることで、正確なターゲット系列長を特定し、不要な計算を排除する。
• 収束を加速させ、入力と出力のアライメントを改善するため、CTC損失を補助的学習目的として採用する。
• ST-NATモデル出力を神経言語モデルと組み合わせて予測を精緻化し、語誤り率を低減する。
• 音声特徴抽出に2次元畳み込みフロントエンドを用い、エンコーダおよびデコーダにマルチヘッド自己注意およびフィードフォワード層を適用する。

実験結果

リサーチクエスチョン

• RQ1 CTCモジュールは、非自己回帰型音声認識モデルにおけるターゲット系列長の予測に効果的に利用可能か？
• RQ2 固定長マスク系列と比較して、スパイク発火エンコーダ状態をデコーダ入力として使用することで、モデル性能が向上するか？
• RQ3 CTC損失を補助的目的として統合することで、学習の加速と収束の改善が達成できるか？
• RQ4 提案されたST-NATモデルは、競争力ある認識精度を維持しながら、どの程度推論遅延を低減できるか？
• RQ5 最先端のエンドツーエンド音声認識モデルと比較して、ST-NATモデルは速度と精度の両面で優れているか？

主な発見

• ST-NATモデルはリアルタイム要因（RTF）0.0056を達成し、すべての主流音声認識モデルを上回る。
• AISHELL-1テストセットでは語誤り率が7.67%にまで低下し、Speech-Transformer や LAS といった高度なモデルと同等またはそれを上回る。
• CTCモジュールは高い正確性でターゲット系列長を予測でき、語または文字の欠落エラーは2%未満に抑えられた。
• 言語モデルを統合したST-NATは、テストセットで語誤り率7.02%を達成し、外部言語モデルによる性能向上が明確に示された。
• パラメータ数がほぼ同等のNAT-MASKED（固定長マスクを用いたベースライン非自己回帰モデル）と比較して、精度と推論速度の両面で優れた性能を示した。
• 可視化により、スパイク位置が語の発音境界とよく一致しており、モデルが意味的な時間的構造を適切に捉えていることが裏付けられた。