[論文レビュー] AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning

Qingru Zhang, Minshuo Chen+6 more|arXiv (Cornell University)|Mar 18, 2023

Topic Modeling被引用数 32

ひとこと要約

AdaLoRA は LoRA スタイルの微調整の間にウェイト行列全体へパラメータ予算を適応的に割り当て、更新を SVD のような形状と重要度ガイド付きランクスケジューラでパラメータ化することにより、特に非常に低い予算で利得を生み出す。

ABSTRACT

Fine-tuning large pre-trained language models on downstream tasks has become an important paradigm in NLP. However, common practice fine-tunes all of the parameters in a pre-trained model, which becomes prohibitive when a large number of downstream tasks are present. Therefore, many fine-tuning methods are proposed to learn incremental updates of pre-trained weights in a parameter efficient way, e.g., low-rank increments. These methods often evenly distribute the budget of incremental updates across all pre-trained weight matrices, and overlook the varying importance of different weight parameters. As a consequence, the fine-tuning performance is suboptimal. To bridge this gap, we propose AdaLoRA, which adaptively allocates the parameter budget among weight matrices according to their importance score. In particular, AdaLoRA parameterizes the incremental updates in the form of singular value decomposition. Such a novel approach allows us to effectively prune the singular values of unimportant updates, which is essentially to reduce their parameter budget but circumvent intensive exact SVD computations. We conduct extensive experiments with several pre-trained models on natural language processing, question answering, and natural language generation to validate the effectiveness of AdaLoRA. Results demonstrate that AdaLoRA manifests notable improvement over baselines, especially in the low budget settings. Our code is publicly available at https://github.com/QingruZhang/AdaLoRA .

研究の動機と目的

• 大規模事前学習済み言語モデルの微調整におけるメモリと計算量の削減を促すこと。
• 重要なモジュールにより多くのパラメータを割り当てる予算適応型微調整法を提案する。
• 費用の高い厳密SVD計算を回避するためのSVDベースの増分更新定式化を開発する。
• 復元可能性を保ちながら特異値を剪定するしくみを導入する。

提案手法

• 重みの更新を W = W(0) + P Λ Q とパラメータ化し、Λ には特異値、P, Q は左特異ベクトル/右特異ベクトルである。
• P と Q を正規化して直交性を促し、訓練を安定化させる。
• Λ の剪定を導く、特異値と P および Q の列/行の平均大きさに基づく重要度スコア S を定義する。
• 訓練中に初期予算を高く設定して徐々にターゲット予算へ減らすグローバル予算スケジューラを適用する。
• 計算された重要度スコアを用いて選択された間隔で Λ を反復的に剪定する一方、剪定された成分を回復する能力を維持する。

実験結果

リサーチクエスチョン

• RQ1 適応的で重要度ガイド付きのランク割り当ては、均一な低ランク更新よりもパラメータ効率の高い微調整の性能を改善できるか？
• RQ2 SVDベースのパラメータ化は、LoRA のような設定における直接SVDや構造化剪定と比較して、より安価に、あるいは安定した剪定を可能にするか？
• RQ3 AdaLoRA はNLPタスク（NLU、QA、NLG）全体と、基準手法と比較して予算レベルの変動にどう対応するか？

主な発見

• AdaLoRA は GLUE、SQuAD、NLG ベンチマーク全体で基準法より優れており、特に低予算で顕著。
• 学習可能なパラメータが0.1%未満のとき、AdaLoRA は SQuAD2.0 で最先端手法より F1 を 1.2% 向上。
• 予算が削減されても AdaLoRA は性能を維持または向上し、厳しいパラメータ予算に対する頑健性を示す。
• AdaLoRA による特異値の剪定は特異ベクトルをゼロ化せず回復の可能性を保ち、安定性を補助する。
• グローバル予算スケジューラは訓練を安定化し、パラメータ予算を徐々に厳しくすることで性能を向上させる。