[論文レビュー] Low-rank Adaptation of Large Language Model Rescoring for Parameter-Efficient Speech Recognition

Yu Yu, Chao-Han Huck Yang+16 more|arXiv (Cornell University)|Sep 26, 2023

Speech Recognition and SynthesisComputer Science被引用数 3

ひとこと要約

本論文では、自動音声認識（ASR）再スコアリングにおけるBERTベースの言語モデルの微調整のためのパラメータ効率的低ランク適応（LoRA）手法であるLoRBを提案する。すべての事前学習済みパラメータを固定し、トレーニング可能でランクの低い行列（全パラメータの0.08%）を挿入することで、完全微調整と同等の性能を達成しつつ、最大6倍の高速化と32%のメモリ使用量削減を実現。ドメイン間一般化性能を維持するため、識別的トレーニング目的関数と相関に基づく正則化を採用している。

ABSTRACT

We propose a neural language modeling system based on low-rank adaptation (LoRA) for speech recognition output rescoring. Although pretrained language models (LMs) like BERT have shown superior performance in second-pass rescoring, the high computational cost of scaling up the pretraining stage and adapting the pretrained models to specific domains limit their practical use in rescoring. Here we present a method based on low-rank decomposition to train a rescoring BERT model and adapt it to new domains using only a fraction (0.08%) of the pretrained parameters. These inserted matrices are optimized through a discriminative training objective along with a correlation-based regularization loss. The proposed low-rank adaptation Rescore-BERT (LoRB) architecture is evaluated on LibriSpeech and internal datasets with decreased training times by factors between 5.4 and 3.6.

研究の動機と目的

• 大規模言語モデル（LLM）を用いた音声認識再スコアリングにおける高い計算コストを低減すること。
• 最小限のパラメータ更新で事前学習済みBERTモデルのドメイン適応を可能にし、推論遅延を発生させないこと。
• 低ランク微調整で一般的に見られる性能劣化を軽減することで、未観測ドメインにおける一般化性能を向上させること。
• 著しく短縮されたトレーニング時間とメモリ使用量で、競争力のある自動音声認識性能を達成すること。
• モデルサイズ、データサイズ、ランク設定の観点から、LoRAのスケーリング特性を評価すること。

提案手法

• LoRAをBERTに適用する際、各Transformer層に一対の低ランク行列を挿入し、他のすべてのパラメータを固定したままトレーニングする。
• ASR性能を直接最適化するため、語誤り率（WER）を最小化する識別的トレーニング目的関数を用いる。
• 表現の安定化とドメイン外一般化性能の劣化防止のため、相関に基づく正則化損失を導入する。
• 本手法は、N-best仮説リストを再スコアリングする第2パス再スコアリングに適用される。
• 複数のドメインとモデルサイズ（5M、170M、1Bパラメータ）で、LibriSpeechおよび社内データセットを用いて評価される。
• 安定性の向上により、より大きな初期学習率が使用可能となり、初期段階の収束は遅いものの、収束が速くなる。

Fig. 1 : Illustration of the Low-Rank adaptation based Rescoring BERT (LoRB).

実験結果

リサーチクエスチョン

• RQ1 低ランク適応は、最小限のパラメータ更新で、完全微調整と同等の性能をBERTベースの音声認識再スコアリングで達成できるか？
• RQ2 提案された相関に基づく正則化は、標準的なLoRAと比較して、ドメイン外テストセットへの一般化性能を向上させるか？
• RQ3 モデルサイズやデータスケールに応じて、LoRAのトレーニング速度とメモリ使用量は完全微調整と比較してどうなるか？
• RQ4 再スコアリングタスクにおいて、モデルサイズ、データサイズ、ランク設定の観点からLoRAのスケーリング特性はどのようなものか？
• RQ5 限られたドメイン内データでの学習において、特定ドメインに適応しながらも、非ターゲットドメインでの性能を維持できるか？

主な発見

• LoRBは、ターゲット外のショッピングドメインで、ベースライン比で相対的に+0.23%のWER改善を達成したが、完全微調整の0.08%のパラメータ更新量にとどまる。
• LoRBは、完全微調整と比較して、トレーニング時間を3.6〜5.4倍短縮し、より大きな学習率を用いることで最大6倍の高速化を達成した。
• LoRBは、トレーニング中におけるGPUメモリ使用率を87%から52%まで削減し、トレーニング効率を顕著に向上させた。
• LoRBと完全微調整の性能差は、170Mパラメータで-22.3% WER相対的差から、1Bパラメータで+2.4%に縮小し、大規模モデルでのスケーラビリティが優れていることが示された。
• LoRBはデータサイズに対して対数的スケーリング曲線を示し、15万件を超えるトレーニング発話数では収益逓減の傾向を示したが、完全微調整では線形スケーリングが観察されたのと対照的であった。
• 大規模バックボーンモデルでは収束速度が向上し、1BパラメータのBERTを用いることで、2.74倍の高速収束が達成された。

Fig. 2 : Wall-clock training time of LoRB, LoRB+ $\mathcal{L}_{cor}$ and Fine-Tuning (FT) when training on messaging data.