[論文レビュー] BiLoRA: A Bi-level Optimization Framework for Overfitting-Resilient Low-Rank Adaptation of Large Pre-trained Models

Rushi Qiang, Ruiyi Zhang+1 more|arXiv (Cornell University)|Mar 19, 2024

Advanced Neural Network Applications被引用数 4

ひとこと要約

BiLoRAは、大規模な事前学習モデルの微調整における低ランク適応（LoRA）の過学習を軽減するための二段階最適化フレームワークを提案する。特異値分解（SVD）パラメータ化を用いて、異なるデータサブセット上で疑似特異ベクトルと特異値の学習を分離することで、一般化性能を向上させるとともに、訓練時間を短縮する。パラメータ数が同程度の10のNLPタスクにおいて、LoRAおよびAdaLoRAを上回る性能を発揮する。

ABSTRACT

Low-rank adaptation (LoRA) is a popular method for fine-tuning large-scale pre-trained models in downstream tasks by learning low-rank incremental matrices. Though LoRA and its variants effectively reduce the number of trainable parameters compared to full fine-tuning methods, they often overfit training data, resulting in sub-optimal generalization on test data. To address this problem, we introduce BiLoRA, an overfitting-alleviating fine-tuning approach based on bi-level optimization (BLO). BiLoRA employs pseudo singular value decomposition to parameterize low-rank incremental matrices and splits the training of pseudo singular vectors and values across two different subsets of training data. This division, embedded within separate levels of the BLO framework, mitigates the risk of overfitting to a single dataset. Tested on ten datasets covering natural language understanding and generation tasks and applied to various well-known large pre-trained models, BiLoRA significantly outperforms LoRA methods and other fine-tuning approaches, with similar amounts of trainable parameters.

研究の動機と目的

• 大規模な事前学習モデルの微調整におけるLoRAおよびその変種の継続的な過学習問題に対処すること。
• トレーニング可能なパラメータ数を増加させずに、テストデータにおけるモデルの一般化性能を向上させること。
• 標準的なLoRAと比較して、性能を維持または向上させつつ、訓練時間を短縮すること。
• 特異ベクトルと特異値の学習を分離する二段階最適化を活用した、パラメータ効率の良い微調整手法を開発すること。
• 正則化重みの詳細なチューニングを必要としない、頑健でハイパーパramータに依存しない手法を提供すること。

提案手法

• 低ランク更新行列を疑似特異値分解（SVD）でパラメータ化し、ΔW = PΛQと定式化する。ここでPとQは疑似特異ベクトル、Λは疑似特異値行列である。
• PとQが訓練中に概ね直交するように、直交性を促進する正則化を適用する。
• 訓練データを二つの互いに素なサブセットに分割する：一方はPとQの下位最適化レベルでの学習に、もう一方は上位レベルでのΛの検証に使用する。
• Λを固定した状態で、サブセットS上でPとQを微調整損失を最小化するように学習し、P*(Λ)とQ*(Λ)を生成する。
• 上位レベルで、D\Sにおける検証損失を最小化するようにΛを最適化し、最適なP*(Λ)とQ*(Λ)を入力として使用する。
• Λにソフトプラスパラメータ化を適用することで、微分可能で安定した最適化を可能にし、より大きな学習率を許容し、収束を高速化する。

実験結果

リサーチクエスチョン

• RQ1 二段階最適化は、トレーニング可能なパラメータ数を増加させずに、LoRA微調整における過学習を効果的に低減できるか？
• RQ2 異なるデータサブセット上で特異ベクトルと特異値の学習を分離することで、モデルの一般化性能がどのように向上するか？
• RQ3 提案手法は、標準的なLoRAおよびAdaLoRAと比較して、性能を維持または向上させつつ、訓練時間を短縮できるか？
• RQ4 特に直交性の正則化重みに関して、BiLoRAはハイパーパramータの選択に対してどれほど頑健か？
• RQ5 二段階フレームワークは、自然言語理解および生成を含む多様なNLPタスクに効果的に適用可能か？

主な発見

• BiLoRAは、CoLA、SST-2、MNLI、QQPを含む10の多様なNLPデータセットにおいて、トレーニング可能なパラメータ数が同程度の状況で、LoRAおよびAdaLoRAを顕著に上回る性能を発揮した。
• RoBERTa-baseモデルでは、BiLoRAにより総訓練時間が7,802.1分（LoRA）から4,531.4分に短縮され、42.5％の削減が達成された。
• RoBERTa-largeでは、BiLoRAにより訓練時間が2,661.3分（LoRA）から2,363.8分に短縮され、11.2％の削減が達成された。
• 本手法はハイパーパramータの選択に対して頑健である：直交性正則化重みγ₁の異なる値に対しても性能が安定しており、詳細なチューニングの必要性が低減された。
• AdaLoRAにおける重み減衰の増加は性能を悪化させた。これは、従来の正則化がLoRAにおける過学習を効果的に解消できないことを示しており、BiLoRAの新規なアプローチの必要性を裏付けた。
• BiLoRAはLoRAよりも少ない訓練エポックで収束した。一方で、二段階計算によるステップあたりコストは上昇したが、収束が速いため、総訓練時間は短くなった。