[論文レビュー] IncreLoRA: Incremental Parameter Allocation Method for Parameter-Efficient Fine-tuning

Feiyu Zhang, Liangzhi Li+4 more|arXiv (Cornell University)|Aug 23, 2023

Topic Modeling被引用数 6

ひとこと要約

IncreLoRAは、モジュールの重要度スコアに基づいてトレーニング中にLoRAアダプタのランクを動的に増加させる、パラメータ効率的微調整のための段階的パラメータ割り当て手法を提案する。初期のパラメータ過剰割り当てを回避しつつ、より高いランク上限を実現する。アドバンス学習とリスタートウォームアップを用いることでトレーニングを安定化させ、直交性を向上させることで、特にリソースが限られた環境下でも優れた性能を達成する。

ABSTRACT

With the increasing size of pre-trained language models (PLMs), fine-tuning all the parameters in the model is not efficient, especially when there are a large number of downstream tasks, which incur significant training and storage costs. Many parameter-efficient fine-tuning (PEFT) approaches have been proposed, among which, Low-Rank Adaptation (LoRA) is a representative approach that injects trainable rank decomposition matrices into every target module. Yet LoRA ignores the importance of parameters in different modules. To address this problem, many works have been proposed to prune the parameters of LoRA. However, under limited training conditions, the upper bound of the rank of the pruned parameter matrix is still affected by the preset values. We, therefore, propose IncreLoRA, an incremental parameter allocation method that adaptively adds trainable parameters during training based on the importance scores of each module. This approach is different from the pruning method as it is not limited by the initial number of training parameters, and each parameter matrix has a higher rank upper bound for the same training overhead. We conduct extensive experiments on GLUE to demonstrate the effectiveness of IncreLoRA. The results show that our method owns higher parameter efficiency, especially when under the low-resource settings where our method significantly outperforms the baselines. Our code is publicly available.

研究の動機と目的

• 固定ランクのLoRAにおけるパラメータ効率的微調整の非効率性に対処する。これは、均一なランク割り当てがモジュール固有の重要度を無視するためである。
• 初期に設定された値によって最終ランクが制限される構造的プルーニング手法の限界を克服する。これは、最適でないパラメータ利用を引き起こす。
• トレーニング中に適応的かつ段階的にランク拡張を可能にすることで、リソースが限られた条件下でのパラメータ効率とモデル性能を向上させる。
• 新規に追加されたパラメータのトレーニングを安定化させるために、新規のアドバンス学習技術とリスタートウォームアップ戦略を用いることで収束性と直交性を向上させる。

提案手法

• モジュールの重要度スコアに基づいてトレーニング中にLoRAアダプタのランクを増加させる段階的パラメータ割り当てメカニズムを導入する。
• 新規に追加されるパラメータを良好な初期状態に初期化するため、'アドバンス学習'と呼ばれる事前学習フェーズを用いてLoRAの低ランク行列を再構築する。
• 新規に追加されたパラメータグループに対して、独立した学習率スケジューリングとリスタートウォームアップを適用し、トレーニングの不安定性を低減する。
• 低ランク行列AとBに対して直交性正則化を課すことで、パラメータ効率とモデル安定性を向上させる。
• プルーニングに基づく手法とは異なり、高ランクモジュールが初期制約を超えて成長できる動的ランク分散戦略を採用する。
• メソッド間のランク分散効果の公平な比較を保証するため、共有されたSVDに類似したパrameterizationと正則化項をトレーニングに適用する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中に段階的ランク割り当てが、固定ランクまたはプルーニングベースのLoRA手法と比較してパラメータ効率を向上させるか？
• RQ2 提案されたアドバンス学習技術は、新規に追加されたLoRAパラメータの収束性と直交性を向上させるか？
• RQ3 LoRAアダプタのランク分散が、特にリソースが限られた微調整条件下でのモデル性能にどのように影響するか？
• RQ4 動的かつ新規に追加されたトレーニング可能なパラメータに対して、リスタートウォームアップはトレーニングの安定性を向上させるか？
• RQ5 精度とパラメータ効率の観点から、動的ランク割り当ては静的またはプルーニングベースのランク割り当てをどの程度上回るか？

主な発見

• IncreLoRAは、低リソース設定下でAdaLoRAと比較して、RTEタスクで1.81%、STS-Bで1.08%の精度向上を達成した。
• この手法は、GLUEベンチマーク全体でベースラインのLoRAおよびAdaLoRAを顕著に上回り、特にパラメータ数が少ない状況下で顕著な優位性を示した。
• 同一ハイパーパramータで再訓練した際、IncreLoRAのランク分散はAdaLoRAのそれよりも優れたモデル性能をもたらした。これは、優れた動的割り当ての有効性を示している。
• アドバンス学習により直交性正則化損失が低減され、直交性への収束が早まり、パラメータ効率が向上した。
• リスタートウォームアップにより、新規に追加されたパラメータのトレーニングが安定化し、分散が低減され、最終的な性能が向上した。
• IncreLoRAのランク分散は、特に重要なモジュール（例：Wv、Wo、Wf1）に集中しており、リソースが限られた条件下でも、重要なコンponentsが高ランクを維持している。