[論文レビュー] Performance-Efficiency Trade-offs in Unsupervised Pre-training for Speech Recognition

Felix F. Wu, Kwangyoun Kim+4 more|arXiv (Cornell University)|Sep 14, 2021

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本稿では、最適化された時間分解能、効率的な特徴抽出、戦略的なパrameter割り当てを通じて、性能と推論効率の両方を向上させるために見直されたwav2vec 2.0アーキテクチャであるSEW（Squeezed and Efficient Wav2vec）を提案する。LibriSpeechでW2V2-baseと比較して1.9倍高速な推論と13.5%低いWERを達成するSEW-D-mid、およびパラメータ数を半減させながらW2V2-largeと同等の性能を達成し、事前学習が3.2倍高速なSEW-D-base+を実現する。

ABSTRACT

This paper is a study of performance-efficiency trade-offs in pre-trained models for automatic speech recognition (ASR). We focus on wav2vec 2.0, and formalize several architecture designs that influence both the model performance and its efficiency. Putting together all our observations, we introduce SEW (Squeezed and Efficient Wav2vec), a pre-trained model architecture with significant improvements along both performance and efficiency dimensions across a variety of training setups. For example, under the 100h-960h semi-supervised setup on LibriSpeech, SEW achieves a 1.9x inference speedup compared to wav2vec 2.0, with a 13.5% relative reduction in word error rate. With a similar inference time, SEW reduces word error rate by 25-50% across different model sizes.

研究の動機と目的

• 自動音声認識のためのwav2vec 2.0事前学習における性能-効率トレードオフを分析・最適化すること。
• モデルの正確性と推論速度に影響を与えるアーキテクチャ的要因を同定すること。
• モデルサイズや計算コストを増加させずに、性能と効率の両方を向上させる新しいモデルアーキテクチャを開発すること。
• 推論遅延とエネルギー消費を低減することで、事前学習済みASRモデルの実用的展開を可能にすること。

提案手法

• 表現とデコードのための最適化された時間分解能を持つ、wav2vec 2.0に基づく新しいSEWアーキテクチャを導入する。
• 元のwav2vec 2.0の特徴抽出器と比較して50%短縮される推論時間を実現する、軽量な波形特徴抽出器を設計する。
• ネットワークの後段の層に多くのパラメータを割り当てることで、モデル容量を再配分し、下流の計算を増加させることなく性能を向上させる。
• さらなる性能向上と効率化を図るため、分離されたアテンションを備えたSEW-Dを提案する。
• 2段階の訓練設定を採用：960時間のラベルなしLibriSpeechデータで事前学習し、その後100時間のラベル付きデータで微調整する。
• W2V2-baseの標準的な微調整ハイパーパramータを用い、大規模なSEWモデルにおける安定性を確保するため、学習率とドロップアウトを調整する。

Figure 1: Word error rate (WER) and average utterance inference time on LibriSpeech (dev-other) of wav2vec 2.0 and our SEW and SEW-D models fine-tuned with 100h labeled data for 100K updates.

実験結果

リサーチクエスチョン

• RQ1 ネットワークの時間分解能を変化させることで、wav2vec 2.0における性能-効率トレードオフにどのような影響を与えるか？
• RQ2 より効率的な波形特徴抽出器は、推論時間を50%短縮しながらも性能を維持できるか？
• RQ3 事前学習ネットワークにおいて、モデル容量を各層に最適に配分するにはどうすればよいか？
• RQ4 予測ヘッドの表現力（expressivity）を高めることで、下流の推論に影響を与えることなく性能にどのような影響を与えるか？
• RQ5 再設計されたアーキテクチャは、多様なASR環境において、元のwav2vec 2.0を性能と推論速度の両面で上回ることができるか？

主な発見

• SEW-D-midは、100時間のラベル付きデータを用いたLibriSpeech dev-otherで、W2V2-baseと比較して1.9倍高速な推論と13.5%の相対的WER低減を達成する。
• 同程度の推論時間で、SEWはW2V2と比較して、さまざまなモデルサイズにおいて25–50%のWER低減を実現する。
• SEW-D-base+は、パラメータ数を半減させながらW2V2-largeと同等の単語誤り率を達成し、事前学習が3.2倍高速である。
• SEW-D-midは、TED-LIUM 3およびFisher+Switchboardで推論時間を30%短縮し、すべてのドメイン外データセットで同等または低いWERを達成する。
• SEW-D-midは、10時間のラベル付きデータを用いたすべてのテストデータセット（TED-LIUM 3、VoxPopuli、Fisher+Switchboard）でW2V2-baseを上回り、少なくとも30%高速である。
• 本モデルは、最先端の性能-効率トレードオフを達成し、自己教師付きASRモデルのより高速で安価かつエネルギー効率の良い展開を可能にする。

Figure 2: Wav2vec 2.0 framework.