[論文レビュー] LoRA-FA: Memory-efficient Low-rank Adaptation for Large Language Models Fine-tuning

Longteng Zhang, Lin Zhang+3 more|arXiv (Cornell University)|Aug 7, 2023

Topic Modeling被引用数 10

ひとこと要約

LoRA-FAは事前学習済みのWとA projectionを凍結し、更新対象はBのみとする。これにより重みの変化を低ランク空間に配置し、活性化メモリと学習可能パラメータを大幅に削減し、完全なファインチューニングおよびLoRAの性能にほぼ匹敵する。

ABSTRACT

The low-rank adaptation (LoRA) method can largely reduce the amount of trainable parameters for fine-tuning large language models (LLMs), however, it still requires expensive activation memory to update low-rank weights. Reducing the number of LoRA layers or using activation recomputation could harm the fine-tuning performance or increase the computational overhead. In this work, we present LoRA-FA, a memory-efficient fine-tuning method that reduces the activation memory without performance degradation and expensive recomputation. LoRA-FA chooses to freeze the projection-down weight of $A$ and update the projection-up weight of $B$ in each LoRA layer. It ensures the change of model weight reside in a low-rank space during LLMs fine-tuning, while eliminating the requirement to store full-rank input activations. We conduct extensive experiments across multiple model types (RoBERTa, T5, LLaMA) and model scales. Our results show that LoRA-FA can always achieve close fine-tuning accuracy across different tasks compared to full parameter fine-tuning and LoRA. Furthermore, LoRA-FA can reduce the overall memory cost by up to 1.4$ imes$ compared to LoRA.

研究の動機と目的

• 標準のLoRAの限界を超えた大規模言語モデル（LLMs）のメモリ効率の良いファインチューニングを動機づける。
• Wと射影ダウンのAを凍結し、射影アップのBのみを更新して活性化メモリを削減するLoRA-FAを提案する。
• LoRA-FAがモデルとタスクを横断して、比較可能なファインチューニング精度を維持することを示す。
• モデル規模とタスクを横断したLoRA-FAのメモリ節約と頑健性を示す。

提案手法

• Wと射影ダウンのAの両方を凍結し、射影アップのBのみを更新するようにLoRA-FAを定式化する。
• 重み変化を ΔW = AB と表現し、Aを固定、Bを学習させ、ΔWをAの列空間に制約する。
• メモリ効率を分析: 学習可能パラメータは n_r/2 = 9drL のスケール、活性化メモリは低ランク入力 XA に依存する。
• ∂Bを計算するためにXAの低ランク入力のみを保存すればよく、活性化メモリを削減できることを示す。
• 量子化、シャーディング、選択的再計算など他のメモリ最適化技術との互換性について論じる。

実験結果

リサーチクエスチョン

• RQ1 LoRA-FAはエンコーダのみ、エンコーダ-デコーダ、デコーダのみのモデルを横断して、フルパラメータのファインチューニングおよびLoRAに近いファインチューニング性能を達成できるか。
• RQ2 AとWを凍結することがファインチューニング時の活性化メモリおよび全体のメモリ使用量をどの程度削減するか。
• RQ3 Rank r や学習率 η のようなハイパーパラメータの選択に対するLoRA-FAの頑健性は、異なるモデルファミリーやタスクでどうか。
• RQ4 実際にはLoRA-FAは他のメモリ最適化技術（量子化、シャーディング、活性化の再計算）とどのように相互作用するか。

主な発見

• LoRA-FAはRoBERTa、T5、LLaMAのタスクで、フルパラメータのファインチューニングおよびLoRAとほぼ同等の精度を達成する。
• LoRA-FAはRoBERTa-baseで学習可能パラメータをフルパラメータの約1.5%、RoBERTa-largeでは設定によって1.0–1.6%に削減する。
• LoRA-FAはLoRAおよびFTと比較してピークGPUメモリ使用量を削減し、LLaMA-7Bで56GBから27.5GBへの削減、複数構成で平均3–7GBの節約などが報告される。
• LoRA-FAはRank 4のLLaMA-65Bの線形層において、活性化ストレージの観点から最大2048倍の活性化メモリ削減が可能。
• LoRA-FAはハイパーパラメータに対して頑健で、Rankと学習率を変化させた場合もLoRAと類似の性能パターンを示す。