[論文レビュー] LoRA ensembles for large language model fine-tuning

Xi Wang, Laurence Aitchison+1 more|arXiv (Cornell University)|Sep 29, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、異なるランダム初期化を用いて複数の低ランクアダプタ（LoRA）を訓練することで、大規模言語モデル（LLM）の微調整における不確実性の定量化と予測精度の向上を図る、パラメータ効率の良い手法、LoRAアンサンブルを提案する。フル LLM アンサンブルの高いメモリコストにかかわらず、LoRA の低ストレージおよび推論オーバーヘッドを活用しつつモデルの多様性を保ちながら、特に正則化を適用した場合に、精度およびキャリブレーションの両面で顕著な向上を達成する。

ABSTRACT

Finetuned LLMs often exhibit poor uncertainty quantification, manifesting as overconfidence, poor calibration, and unreliable prediction results on test data or out-of-distribution samples. One approach commonly used in vision for alleviating this issue is a deep ensemble, which constructs an ensemble by training the same model multiple times using different random initializations. However, there is a huge challenge to ensembling LLMs: the most effective LLMs are very, very large. Keeping a single LLM in memory is already challenging enough: keeping an ensemble of e.g. 5 LLMs in memory is impossible in many settings. To address these issues, we propose an ensemble approach using Low-Rank Adapters (LoRA), a parameter-efficient fine-tuning technique. Critically, these low-rank adapters represent a very small number of parameters, orders of magnitude less than the underlying pre-trained model. Thus, it is possible to construct large ensembles of LoRA adapters with almost the same computational overhead as using the original model. We find that LoRA ensembles, applied on its own or on top of pre-existing regularization techniques, gives consistent improvements in predictive accuracy and uncertainty quantification.

研究の動機と目的

• 微調整された LLM における不確実性の定量化の不足（例：過信、分布外データにおける不良なキャリブレーション）を解消すること。
• 大規模 LLM におけるフルモデルアンサンブルの訓練に伴う prohibitively 高いメモリおよび計算コストを克服すること。
• ベースモデルに比べてパラメータ数が桁違いに少ない Low-Rank Adapters (LoRA) を用いて、スケーラブルで効率的な LLM のアンサンブル化を可能にすること。
• LoRA アンサンブルが正則化技術と併用可能かどうかを調査し、一般化性能およびキャリブレーションのさらなる向上を図ること。
• ランダム初期化とデータセットシャッフルが、アンサンブルの多様性および性能に有意に寄与することを実証的に検証すること。

提案手法

• 同じ事前学習済み LLM を用い、同じ微調整データに対して、異なるランダム初期化を用いて複数の LoRA アダプタを訓練する。
• すべての LoRA アダプタのベースとして、完全な事前学習済み LLM パラメータを使用し、初期化の一貫性を保ちつつ、アダプタの重みのランダム性によって多様性を確保する。
• 推論時、すべての LoRA アダプタの予測を、ログティスや確率の平均化によって統合し、アンサンブル予測を形成する。
• 一般化性能の向上と過学習の低減を図るため、正則化技術（例：重み減衰、KL 正則化、早期停止）を LoRA 訓練中に適用する。
• データセットのシャッフルを用いた確率的勾配降下法（SGD）を用い、追加のランダム性（SGD ノイズ）を導入し、アンサンブル構成要素間の多様性を高める。
• 分布内および分布外（OOD）のテストセットを用い、精度、期待キャリブレーション誤差（ECE）、AUROC などの指標でアンサンブル性能を評価する。

(a)

実験結果

リサーチクエスチョン

• RQ1 LoRA アンサンブルは、単一の LoRA ファインチューニングと比較して、微調整された LLM の精度およびキャリブレーションを顕著に向上させるか？
• RQ2 LoRA アンサンブルに正則化技術を組み合わせることで、モデルのキャリブレーションおよび一般化性能がさらに向上するか？
• RQ3 ランダム初期化とデータセットシャッフルによる SGD ノイズという、異なるランダム要因が、アンサンブルの多様性および性能にどのように寄与するか？
• RQ4 アンサンブル構成要素数（M）を増加させた場合のモデル性能への影響は何か？また、M が大きくなるとその利得が減少するか？
• RQ5 精度およびキャリブレーションの観点から、LoRA アンサンブルはモンテカルロドロップアウトや最後のレイヤーのファインチューニングといった代替の不確実性推定手法と比較して、どのように差がつくか？

主な発見

• LoRA アンサンブルは、6つの共通認識推論データセットにおいて一貫して精度とキャリブレーションの両方を向上させ、期待キャリブレーション誤差（ECE）が顕著に低減された。
• 5つの LoRA コンponent を有するアンサンブルは、単一の LoRA モデルおよびモンテカルロドロップアウトや最後のレイヤーのファインチューニングといった代替手法と比較して、精度および ECE の両面で優れた性能を示した。
• LoRA アンサンブルは正則化を組み合わせても効果的である：重み減衰が最も安定した性能を示した一方、強い KL 正則化や早期停止は多様性を抑制し、アンサンブルの利点を低下させる可能性があった。
• アンサンブル構成要素数（M）を増加させることで性能が向上するが、M が大きくなるとその限界的利益は減少し、ある点を過ぎるとリターンが減少する傾向が示された。
• ランダム初期化とデータセットシャッフルの両方がアンサンブルの多様性に寄与しており、シャッフルによる SGD ノイズの影響は初期化単体よりも強く、最適な性能を得るには両方が必要であることがわかった。

(b)