[論文レビュー] Efficient conformer: Progressive downsampling and grouped attention for automatic speech recognition

Maxime Burchi, Valentin Vielzeuf|arXiv (Cornell University)|Aug 31, 2021

Speech Recognition and Synthesis被引用数 5

ひとこと要約

この論文では、段階的ダウンサンプリングとグループ化注意機構を組み合わせることで計算複雑性を低減する、最適化されたASRアーキテクチャ「Efficient Conformer」を提案する。グループ化注意機構を用いることで自己注意機構の複雑性をO(n²d)からO(n²d/g)に削減し、スライドマルチヘッド自己注意機構を用いてグローバルなダウンサンプリングを実現することで、標準的なConformerと比較して推論が29%高速、学習が36%高速化された。1300万パラメータのモデルで、LibriSpeechのtest-clean/test-otherではそれぞれ2.7%/6.7%のWERを達成し、最先端の性能を維持した。

ABSTRACT

The recently proposed Conformer architecture has shown state-of-the-art performances in Automatic Speech Recognition by combining convolution with attention to model both local and global dependencies. In this paper, we study how to reduce the Conformer architecture complexity with a limited computing budget, leading to a more efficient architecture design that we call Efficient Conformer. We introduce progressive downsampling to the Conformer encoder and propose a novel attention mechanism named grouped attention, allowing us to reduce attention complexity from $O(n^{2}d)$ to $O(n^{2}d / g)$ for sequence length $n$, hidden dimension $d$ and group size parameter $g$. We also experiment the use of strided multi-head self-attention as a global downsampling operation. Our experiments are performed on the LibriSpeech dataset with CTC and RNN-Transducer losses. We show that within the same computing budget, the proposed architecture achieves better performances with faster training and decoding compared to the Conformer. Our 13M parameters CTC model achieves competitive WERs of 3.6%/9.0% without using a language model and 2.7%/6.7% with an external n-gram language model on the test-clean/test-other sets while being 29% faster than our CTC Conformer baseline at inference and 36% faster to train.

研究の動機と目的

• リソース制限のある環境における効率的な展開を実現するため、Conformerアーキテクチャの計算複雑性を低減すること。
• 初期エンコーダーステージにおける長いシーケンス長が原因で生じる注意機構の計算非対称性を解消すること。
• 限られたGPU予算（4x RTX 2080 Ti）のもとで、推論時間および学習時間を短縮しつつ、高いASR性能を維持すること。
• シーケンス長に伴いスケーラブルであり、メモリ使用量を削減できる効率的な注意機構の探索。
• CTCおよびRNN-Transducer損失を用いたLibriSpeech上での段階的ダウンサンプリングと注意機構のバリエーションの有効性の評価。

提案手法

• エンコーダーに段階的ダウンサンプリングを導入し、3段階のステージでシーケンス長を8倍に短縮する。
• 隣接する時間ステップを特徴次元に沿ってグループ化することで、自己注意機構の複雑性をO(n²d)からO(n²d/g)に低減するグループ化注意機構を提案する。
• スライドマルチヘッド自己注意機構をグローバルなダウンサンプリング操作として適用し、一部の構成では畳み込みによるダウンサンプリングを置き換える。
• シーケンス長が最も長い最初のエンコーダーステージにグループ化注意機構を適用することで、計算ボトルネックを軽減する。
• グループサイズ、注意ウィンドウサイズ、注意機構のバリエーションの効果を精度と効率の観点からアブレーションスタディで評価する。
• 4GPUの学習予算のもとで、LibriSpeech上でCTCおよびRNN-Transducerの目的関数を用いてモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 段階的ダウンサンプリングは、認識精度を損なわずに、ConformerベースのASRモデルにおける計算コストを効果的に低減できるか？
• RQ2 グループ化注意機構は、長時間シーケンスの文脈において、自己注意機構の複雑性を低減しつつ性能を維持できるか？
• RQ3 畳み込みによるダウンサンプリングをスライドマルチヘッド自己注意機構に置き換えることで、遅延を低減しつつ同等またはより良い性能が得られるか？
• RQ4 速度-精度トレードオフの観点から、グループ化注意機構の最適なグループサイズはエンコーダーステージ全体でどのように設定すべきか？
• RQ5 局所的注意機構とグループ化注意機構は、推論速度および認識性能の観点でどのように比較できるか？

主な発見

• 1300万パラメータのEfficient Conformer CTCモデルは、外部n-gram言語モデルを用いて、LibriSpeech test-cleanで2.7%、test-otherで6.7%のWERを達成し、最先端の性能を再現した。
• 同じ4GPU予算のもとで、標準的なConformerベースラインと比較して、推論時間を29%短縮し、学習時間を36%短縮した。
• 最初のステージでのみグループ化注意機構を適用すると、推論速度が21%向上し、学習が35%高速化され、性能に低下は見られなかった。
• 3段階すべてのステージにグループ化注意機構を適用すると、推論速度が29%向上し、学習が41%高速化されたが、注意の文脈が制限されたため、WERにわずかな上昇（test-otherで3.56%）が生じた。
• 175ウィンドウの局所的注意機構は、完全な注意機構と同等の性能を示したが、シーケンスパディングのオーバーヘッドにより遅く、グループ化注意機構の効率的優位性が顕著に現れた。
• 特に長時間シーケンスにおいて、グループ化注意機構は、シーケンスの分割処理をより効果的に扱い、計算オーバーヘッドを低減することで、メモリ効率と推論速度の両面で局所的注意機構を上回った。