[論文レビュー] LoRA-GA: Low-Rank Adaptation with Gradient Approximation

Shaowen Wang, Linxi Yu+1 more|arXiv (Cornell University)|Jul 6, 2024

Image and Signal Denoising Methods被引用数 4

ひとこと要約

LoRA-GAは、低ランク微調整（LoRA）のための新しい勾配ベース初期化を提案する。この手法は、初期の低ランクアダプタ行列の勾配を、フル微調整のそれと一致させることで収束を加速する。フルモデルの勾配行列の上位特異ベクトルを用いてアダプタ行列を初期化することで、LoRA-GAはフル微調整と同等の収束速度を達成し、GSM8KでヴァナイルLoRAを最大11.52%上回り、トレーニングのFLOPsを2–4倍削減する。

ABSTRACT

Fine-tuning large-scale pretrained models is prohibitively expensive in terms of computational and memory costs. LoRA, as one of the most popular Parameter-Efficient Fine-Tuning (PEFT) methods, offers a cost-effective alternative by fine-tuning an auxiliary low-rank model that has significantly fewer parameters. Although LoRA reduces the computational and memory requirements significantly at each iteration, extensive empirical evidence indicates that it converges at a considerably slower rate compared to full fine-tuning, ultimately leading to increased overall compute and often worse test performance. In our paper, we perform an in-depth investigation of the initialization method of LoRA and show that careful initialization (without any change of the architecture and the training algorithm) can significantly enhance both efficiency and performance. In particular, we introduce a novel initialization method, LoRA-GA (Low Rank Adaptation with Gradient Approximation), which aligns the gradients of low-rank matrix product with those of full fine-tuning at the first step. Our extensive experiments demonstrate that LoRA-GA achieves a convergence rate comparable to that of full fine-tuning (hence being significantly faster than vanilla LoRA as well as various recent improvements) while simultaneously attaining comparable or even better performance. For example, on the subset of the GLUE dataset with T5-Base, LoRA-GA outperforms LoRA by 5.69% on average. On larger models such as Llama 2-7B, LoRA-GA shows performance improvements of 0.34, 11.52%, and 5.05% on MT-bench, GSM8K, and Human-eval, respectively. Additionally, we observe up to 2-4 times convergence speed improvement compared to vanilla LoRA, validating its effectiveness in accelerating convergence and enhancing model performance. Code is available at https://github.com/Outsider565/LoRA-GA.

研究の動機と目的

• ヴァナイルLoRAの収束が遅いため、合計FLOPsが増加し、1ステップあたりのコストは低いものの、テスト性能が低下する問題を解決すること。
• LoRAアダプタ重みの非最適な初期化が、収束が遅い原因であるかどうかを調査すること。
• 低ランクアダプタの勾配更新方向を、最初のステップからフルモデルのそれと一致させる新しい初期化手法を開発すること。
• LoRAのパラメータ効率性とメモリ使用量を維持しつつ、フル微調整と同等の収束速度とパフォーマンスを達成すること。

提案手法

• LoRA-GAは、フルモデルの勾配行列 $\nabla_W \mathcal{L}$ の上位 $r$ 個の左および右特異ベクトル $U_{[1:r]}$ と $V_{[1:r]}$ を用いて、アダプタ行列 $A$ と $B$ を初期化し、初期の $\Delta(BA)$ が $\Delta W$ と一致するようにする。
• 勾配行列の特異値分解（SVD）を用いて $U_{[1:r]}$ と $V_{[1:r]}$ を抽出し、出力分散の安定性を確保するために $\sqrt[4]{d_{\text{out}}}/\sqrt{\gamma}$ でスケーリングする。
• 異なるランクや入力次元でも出力分散が不変となるように、新しいスケーリング係数 $\alpha / \sqrt{r}$ を導入する。
• 初期化はトレーニング開始前に一度だけ実行され、LoRAのアーキテクチャやトレーニングアルゴリズムに変更は加えない。
• この手法は勾配近似と出力安定性（SO）を組み合わせており、ReLoRAなどの既存のLoRAバージョンとも互換性がある。

実験結果

リサーチクエスチョン

• RQ1 LoRAのアダプタ重みのデフォルトのランダム初期化は、フル微調整と比較して収束を著しく遅くするのか？
• RQ2 低ランクアダプタの初期勾配方向をフルモデルのそれと一致させることで、収束が加速するのか？
• RQ3 どのような初期化スキームが、勾配整合性と出力分散安定性の両方を満たすのか？
• RQ4 提案された初期化は、既存の初期化戦略と比較して、収束速度と最終パフォーマンスの面で優れているのか？

主な発見

• T5-Baseを用いたGLUEベンチマークでは、LoRA-GAはヴァナイルLoRAを平均5.69%上回り、フル微調整と同等のパフォーマンスを達成する。
• Llama 2-7Bでは、MT-bench、GSM8K、HumanEvalでそれぞれ0.34、11.52%、5.05%の性能向上を達成する。
• LoRA-GAはヴァナイルLoRAに比べて最大4倍の高速収束を実現し、目標パフォーマンスに到達するためのトレーニングステップ数とFLOPsを削減する。
• 初期化ステップは7Bモデルでは約1分（例：Llama 2-7Bで74.7秒）の追加時間しかかからず、標準LoRAを超えるメモリオーバーヘッドは発生しない。
• アブレーションスタディの結果、勾配近似（+GA）と出力安定性（+SO）の両方が収束の向上に寄与しており、両者の組み合わせがLoRA-GAで最も優れた結果をもたらすことが確認された。
• LoRA-GAは標準LoRAと同等のメモリコストを維持しており、アーキテクチャの変更なしにReLoRAなどの他のLoRAバージョンとも互換性がある。