[論文レビュー] Attention-based Transducer for Online Speech Recognition

Bin Wang, Yan Yin+1 more|arXiv (Cornell University)|May 18, 2020

Speech Recognition and Synthesis参考文献 30被引用数 6

ひとこと要約

本論文では、エンコーダーに自己注意機構とジョイントネットワークにチャンク単位の注意機構を導入することで、オンライン音声認識のためのRNN-Tを向上させる注目メカニズムベースのトランスダーサーを提案する。500時間のデータにおいて、ベースラインRNN-Tと比較して1.7倍の高速化と10.6%の相対的WER低減を達成し、1万時間以上のデータにおいてKaldiのTDNN-fシステムと比較して5.5%の相対的WER低減を達成した。

ABSTRACT

Recent studies reveal the potential of recurrent neural network transducer (RNN-T) for end-to-end (E2E) speech recognition. Among some most popular E2E systems including RNN-T, Attention Encoder-Decoder (AED), and Connectionist Temporal Classification (CTC), RNN-T has some clear advantages given that it supports streaming recognition and does not have frame-independency assumption. Although significant progresses have been made for RNN-T research, it is still facing performance challenges in terms of training speed and accuracy. We propose attention-based transducer with modification over RNN-T in two aspects. First, we introduce chunk-wise attention in the joint network. Second, self-attention is introduced in the encoder. Our proposed model outperforms RNN-T for both training speed and accuracy. For training, we achieves over 1.7x speedup. With 500 hours LAIX non-native English training data, attention-based transducer yields ~10.6% WER reduction over baseline RNN-T. Trained with full set of over 10K hours data, our final system achieves ~5.5% WER reduction over that trained with the best Kaldi TDNN-f recipe. After 8-bit weight quantization without WER degradation, RTF and latency drop to 0.34~0.36 and 268~409 milliseconds respectively on a single CPU core of a production server.

研究の動機と目的

• 長時間の入力シーケンスと短時間の出力シーケンスのため、RNN-T学習において空白記号が支配的になるラベル不均衡問題に対処する。
• 前向き・後向きアルゴリズムのメモリおよび計算コストが高く、AED や CTC よりも遅いRNN-Tの学習速度を向上させる。
• ジョイントネットワークにおけるチャンク単位の注意機構により、アライメントグリッドのサイズを縮小することで、RNN-Tの遅延とメモリ使用量を低減する。
• 自己注意機構をエンコーダーに適用することで、文脈的表現を向上させ、ストリーミング性能を損なわずに認識精度を向上させる。
• 大規模なL2英語音声データで最先端の性能を達成するとともに、実稼働環境に適した低遅延性を維持する。

提案手法

• ジョイントネットワークにチャンク単位の注意機構を導入し、予測ネットワークがエンコーダー出力の固定サイズのチャンクにのみ注目するようにすることで、グリッドサイズと計算コストを低減する。
• エンコーダーに自己注意機構を適用し、長距離依存関係をモデル化し、文脈表現を向上させることで、認識精度を向上させる。
• エンコーダーでサブサンプリングを適用することで、出力ユニットと空白記号の間のラベル不均衡をさらに軽減する。
• チャンク単位の注意機構によるグリッドサイズの縮小を活かし、大きなミニバッチでの学習を実現し、学習収束を高速化する。
• 完全な注目メカニズムベースのトランスダーサーの微調整の前に、初期表現学習を向上させるためにエンコーダーをLASモデルで事前学習する。
• TFLiteを介して8ビット重み量子化を適用し、モデルサイズを縮小して推論速度を向上させ、1つのCPUコアでも低遅延を達成する。

実験結果

リサーチクエスチョン

• RQ1 ジョイントネットワークにおけるチャンク単位の注意機構は、アライメントグリッドのサイズを縮小し、RNN-Tにおける学習効率を向上させることができるか？
• RQ2 エンコーダーに自己注意機構を導入することで、RNN-Tの遅延を増大させずに認識精度が向上するか？
• RQ3 チャンク単位の注意機構とサブサンプリングは、RNN-Tにおける出力ユニットと空白記号のラベル不均衡問題をどの程度軽減できるか？
• RQ4 提案された注目メカニズムベースのトランスダーサーは、従来のRNN-TおよびKaldiのTDNN-fシステムに比べ、大規模なL2英語音声データでより優れたWERを達成できるか？
• RQ5 ストリーミング推論において、異なるコンテキスト長さとチャンク幅を使用する場合、遅延、RTF、WERのトレードオフはどのように変化するか？

主な発見

• チャンク単位の注意機構によりグリッドサイズが縮小され、大きなミニバッチが可能になったことから、ベースラインRNN-Tと比較して1.7倍以上の学習速度向上が達成された。
• 500時間のLAIX L2英語データにおいて、ベースラインRNN-Tと比較して10.6%の相対的WER低減が達成され、LASと比較して14.4%の相対的低減も達成した。
• 1万時間以上の学習データを用いた場合、最終的なシステムはKaldiのTDNN-fシステム（3-gram言語モデルを併用）と比較して5.5%の相対的WER低減を達成した。
• 8ビット重み量子化を施した後も、WER性能を維持したまま、RTFは0.34〜0.36、遅延は268〜409 msの範囲で1つのCPUコア上で実現した。
• 小さなコンテキスト長（τ=2）を用いることで遅延を300 msまで低減し、リアルタイムデプロイメントに適した低遅延推論を実現した。
• ベースラインRNN-Tと比較して、削除誤りが約30%低減された。これは、チャンク単位の注意機構によるラベル不均衡の改善効果を示している。