[論文レビュー] The Expressive Power of Low-Rank Adaptation

Yuchen Zeng, Kangwook Lee|arXiv (Cornell University)|Oct 26, 2023

Machine Learning and ELM被引用数 5

ひとこと要約

本稿は、低ランク微調整（LoRA）の最初の理論的分析を提供し、全結合ネットワークでは、アダプタランクがモデルの深さと幅に依存する閾値を満たせば、LoRAが任意のターゲットモデルを正確に再現できることを証明している。トランスフォーマーでは、ランク-$(\text{埋め込み次元}/2)$ のアダプタで十分であり、ランクが高くなるほど近似誤差が減少することが実験で裏付けられている。

ABSTRACT

Low-Rank Adaptation (LoRA), a parameter-efficient fine-tuning method that leverages low-rank adaptation of weight matrices, has emerged as a prevalent technique for fine-tuning pre-trained models such as large language models and diffusion models. Despite its huge success in practice, the theoretical underpinnings of LoRA have largely remained unexplored. This paper takes the first step to bridge this gap by theoretically analyzing the expressive power of LoRA. We prove that, for fully connected neural networks, LoRA can adapt any model $f$ to accurately represent any smaller target model $\overline{f}$ if LoRA-rank $\geq( ext{width of }f) imes \frac{ ext{depth of }\overline{f}}{ ext{depth of }f}$. We also quantify the approximation error when LoRA-rank is lower than the threshold. For Transformer networks, we show any model can be adapted to a target model of the same size with rank-$(\frac{ ext{embedding size}}{2})$ LoRA adapters.

研究の動機と目的

• パラメータ効率の良い微調整における低ランク微調整（LoRA）の表現能力を理論的に理解すること。
• 凍結された事前学習済みモデルに適応する際、ターゲットモデルを正確に表現できる最小のLoRAランクを特定すること。
• 正確な適合の閾値を下回るLoRAランクの場合の近似誤差を定量すること。
• 特に注意機構を含むトランスフォーマーアーキテクチャへの理論的知見の拡張。
• 近似誤差とランクスケーリングに関する理論的発見を数値実験で検証すること。

提案手法

• 低ランク更新 $\Delta \mathbf{W}_l = \mathbf{A}_l \mathbf{B}_l$ を用いた重み行列の適応に関する理論的分析、ここで $\text{rank}(\mathbf{A}_l \mathbf{B}_l) \leq R$。
• 適応済みモデルとターゲットモデル間のフロベニウスノルム誤差を最小化する制約付き最適化問題の定式化。
• 近似に必要な部分ネットワークを分離するために、拡張されたターゲット行列 $\widetilde{\mathbf{W}}$ の使用。
• 行列ランク分解および低ランク近似理論の適用により、必要なランク条件を導出。
• 補題1を用いた正確な回復条件の導出により、$R \geq \lfloor \frac{D_{\text{target}}}{L} \rfloor$ であれば、弱い仮定のもとで正確な適応が可能であることが示された。
• 理論的閾値行動の検証のための数値実験により、ランクが臨界値を超えると近似誤差が急激に低下することが示された。

実験結果

リサーチクエスチョン

• RQ1 全結合ネットワークにおいて、凍結モデルをターゲットモデルに正確に適応させるために必要な最小のLoRAランクは何か？
• RQ2 正確な適合の閾値を下回るLoRAランクの場合、近似誤差はどのようにスケーリングされるか？
• RQ3 LoRAは任意のターゲットトランスフォーマー・モデルを正確に表現できるか？その場合に必要なランクは何か？
• RQ4 モデルの深さと幅は、正確またはほぼ正確な適応に必要な最小LoRAランクにどのように影響するか？
• RQ5 表現力の観点から、LoRAは最終層微調整と比べてどのように異なるか？

主な発見

• 全結合ネットワークでは、弱い仮定のもとで、アダプタランクが $R \geq \text{幅}(f) \times \frac{\text{深さ}({\hat{f}})}{\text{深さ}(f)}$ を満たせば、LoRAは任意のターゲットモデルを正確に表現できる。
• LoRAランクがこの閾値を下回る場合、本稿ではランクの関数として明示的な近似誤差の上限を導出しており、ランクが高くなるほど誤差が減少することが示されている。
• トランスフォーマーでは、ランク-$\frac{\text{埋め込み次元}}{2}$ のLoRAアダプタで、同じサイズの任意のターゲットモデルを正確に一致させることができる。
• 数値実験により、ランクが高くなるほど近似誤差が減少し、臨界ランク閾値を超えるとほぼゼロになることが確認された。
• 理論的枠組みにより、最終層微調整との比較が可能となり、モデル適応におけるLoRAの優れた表現力が示された。
• 結果は全結合ネットワークおよびトランスフォーマーの両アーキテクチャで検証されており、理論的境界の一般化可能性が示された。