[論文レビュー] Emformer: Efficient Memory Transformer Based Acoustic Model For Low Latency Streaming Speech Recognition

Yangyang Shi, Yongqiang Wang+6 more|arXiv (Cornell University)|Oct 21, 2020

Speech Recognition and Synthesis参考文献 31被引用数 13

ひとこと要約

この論文は、キーバリューのキャッシュと最適化されたメモリバンク伝搬を用いて計算量を削減することで、低遅延ストリーミング音声認識のための効率的なメモリ拡張型TransformerアーキテクチャであるEmformerを提案する。Emformerは、平均遅延960msでLibriSpeechのtest-cleanで2.50%、test-otherで5.62%のSOTA WERを達成し、AM-TRFと比較して4.6倍速い学習速度と18%低いデコードRTFを実現した。

ABSTRACT

This paper proposes an efficient memory transformer Emformer for low latency streaming speech recognition. In Emformer, the long-range history context is distilled into an augmented memory bank to reduce self-attention's computation complexity. A cache mechanism saves the computation for the key and value in self-attention for the left context. Emformer applies a parallelized block processing in training to support low latency models. We carry out experiments on benchmark LibriSpeech data. Under average latency of 960 ms, Emformer gets WER $2.50\%$ on test-clean and $5.62\%$ on test-other. Comparing with a strong baseline augmented memory transformer (AM-TRF), Emformer gets $4.6$ folds training speedup and $18\%$ relative real-time factor (RTF) reduction in decoding with relative WER reduction $17\%$ on test-clean and $9\%$ on test-other. For a low latency scenario with an average latency of 80 ms, Emformer achieves WER $3.01\%$ on test-clean and $7.09\%$ on test-other. Comparing with the LSTM baseline with the same latency and model size, Emformer gets relative WER reduction $9\%$ and $16\%$ on test-clean and test-other, respectively.

研究の動機と目的

• 冗長な左側コンテキスト計算に起因するストリーミングTransformerの高い計算コストと遅い学習速度を解消すること。
• 拡張メモリTransformerにおける重複した注意計算を排除することで、ストリーミングASRの遅延を低減すること。
• 層間のメモリバンク伝搬を再定義することで、低遅延モデルの並列化ブロック学習を可能にすること。
• 要約ベクトルとメモリバンク間の注意を無効化することで、遠く離れたコンテキストに過剰に重みを置きすぎることを防ぎ、学習を安定化させること。
• 中程度および低遅延制約下でLibriSpeechでSOTAのパフォーマンスを達成すること。

提案手法

• 以前のセグメントからの自己注意計算を格納・再利用するキーバリューのキャッシュ機構を導入し、左側コンテキストにおける冗長な計算を排除する。
• 層ごとの伝搬から深さ方向への伝搬にメモリバンク伝搬を再構成し、下位層から上位層へメモリバンクを引き継ぐことで、自己回帰的ボトルネックを回避する。
• 長距離でノイズの多いコンテキストに過剰に重みを置きすぎることを防ぐために、要約ベクトルとメモリバンク間の注意を無効化する。
• 学習中にセグメント処理をメモリバンクの順序依存性から分離することで、ブロック処理の並列化を実現する。
• 入力シーケンスを中央、左、右コンテキストのブロックに分け、遅延を制御可能なストリーミング推論を可能にする。
• ハイブリッドおよびニューラルトランスダーアーキテクチャの両方のASRフレームワークにモデルを統合し、異なるモデリングパラダイムにおける頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張型Transformerアーキテクチャは、ASR精度を損なわせることなく、ストリーミング自己注意における計算の冗長性を低減できるか？
• RQ2 並列ブロック処理を可能にするアーキテクチャの変更によって、拡張メモリTransformerの学習速度を著しく向上できるか？
• RQ3 層ごとの伝搬から深さ方向への伝搬にメモリバンク伝搬を再定義することで、学習の安定性と推論効率が向上するか？
• RQ4 Emformerは、80ms程度の低遅延制約下でもLibriSpeechでSOTAのWERを達成できるか？ また、低デコードRTFを維持できるか？
• RQ5 LCBLSTM や AM-TRF といった強力なベースラインと比較して、Emformerは異なる遅延設定下で WER、学習速度、デコード効率の面で優れているか？

主な発見

• 平均遅延960msの条件下で、EmformerはLibriSpeechのtest-cleanで2.50%、test-otherで5.62%のWERを達成し、AM-TRFベースラインと比較してそれぞれ17%および9%の相対的WER低減を達成した。
• EmformerはAM-TRFと比較して18%低いデコードRTFを実現し、960msの遅延下でRTF 0.13を達成した。
• 学習中にブロック処理を並列化できるようになったことにより、EmformerはAM-TRFと比較して4.6倍速い学習速度を達成した。
• 平均遅延80msの条件下で、Emformerはtest-cleanで3.01%、test-otherで7.09%のWERを達成し、LibriSpeechにおける低遅延ストリーミングASRの新SOTAを樹立した。
• 同じ遅延とモデルサイズのLSTMベースラインと比較して、Emformerはtest-cleanで9%、test-otherで16%のWER低減を達成した。
• sMBR学習を適用した場合、Emformerは960msの遅延下でtest-cleanで2.50%、test-otherで5.62%のWERを達成し、異なるモデルアーキテクチャにわたる強力な一般化能力を示した。