[論文レビュー] LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning

Mingyang Zhang, Hao-Zhen+5 more|arXiv (Cornell University)|May 28, 2023

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

LoRAPruneは、大規模な事前学習モデルに対して構造的(pruning)とLoRAに基づくパラメータ効率的微調整を統合的に実行するフレームワークを提案する。事前学習重みの勾配を必要とせず、LoRAの勾配を重要度推定に用いることで、メモリ集約的な事前学習重み勾配の計算を回避する。50%のモデルサイズ削減を達成し、WikiText2では困惑度(perplexity)を8.0、PTBでは16.05削減するが、先行手法と比較して52.6%のメモリ使用量削減を実現する。

ABSTRACT

Large Language Models (LLMs), such as LLaMA and T5, have shown exceptional performance across various tasks through fine-tuning. Although low-rank adaption (LoRA) has emerged to cheaply fine-tune these LLMs on downstream tasks, their deployment is still hindered by the vast model scale and computational costs. Post-training model pruning offers a way to compress LLMs. However, the current pruning methods designed for LLMs are not compatible with LoRA. This is due to their utilization of unstructured pruning on LLMs, impeding the merging of LoRA weights, or their dependence on the gradients of pre-trained weights to guide pruning, which can impose significant memory overhead. To this end, we propose LoRAPrune, a new framework that delivers an accurate structured pruned model in a highly memory-efficient manner. Specifically, we first design a LoRA-guided pruning criterion, which uses the weights and gradients of LoRA, rather than the gradients of pre-trained weights for importance estimation. We subsequently integrate this criterion into an iterative pruning process, effectively removing redundant channels and heads. Extensive experimental results demonstrate the superior performance of our LoRAPrune over existing approaches on the LLaMA series models. At a 50\% compression rate, LoRAPrune demonstrates superior performance over LLM-Pruner, achieving a reduction in perplexity by 4.81 on WikiText2 and 3.46 on PTB, while also decreasing memory usage by 52.6%. Besides, LoRAPrune also matches semi-structural pruning across multiple LLMs, proving its wide applicability. The code is available at https://github.com/aim-uofa/LoRAPrune.

研究の動機と目的

• 非構造的プルーニングとLoRAの不適合性が、LoRA重みの効率的マージと推論遅延の増加を引き起こす問題を解消する。
• プルーニング中に事前学習重みの勾配を必要とするため、従来手法が高いメモリオーバーヘッドを負う問題を克服する。
• LoRAと互換性があり、プルーニング後にLoRA重みをシームレスにマージできる、メモリ効率の良い構造的プルーニング手法を開発する。
• プルーニングと微調整を同時に実行することで、分離された微調整が不要な高圧縮比でもモデル性能を維持する。
• 事前学習重みの勾配を計算せず、LoRA勾配のみを用いてパラメータの重要度を推定する、新しいLoRAガイドドプルーニング基準を提案する。

提案手法

• 事前学習重み（W₀）の勾配を必要とせず、LoRA重み（A）の勾配に基づくパラメータ重要度を計算するLoRAガイドドプルーニング基準を導入する。
• 事前学習モデルとLoRAアダプタの両方から冗長なチャネルやアテンションヘッドを統合的に削除する、構造的反復的プルーニング手順を設計する。
• パラメータ重要度の代理指標として、LoRA勾配のフロベニウスノルム（Frobenius norm）を用い、大きな中間テンソルを保存する必要がなく、効率的かつ正確なプルーニングを実現する。
• プルーニングとLoRA微調整を1つのトレーニングループ内で交互に実行する、統合的なプルーニングと微調整パイプラインを実装する。
• プルーニング後、LoRA重み（BA）をプルーニング済み事前学習重みにシームレスにマージ可能であり、追加の計算コストなしに推論を可能にする。
• モデルの回復と過学習のバランスを最適化するため、プルーニング頻度を最適化し、1回のプルーニングイテレーションあたり10回の微調整ステップが最適であると判明。

実験結果

リサーチクエスチョン

• RQ1 事前学習重みの勾配に依存する基準と比較して、LoRA勾配のみに依存するプルーニング基準が、顕著なメモリ使用量削減のもとで同等または優れた性能を達成できるか。
• RQ2 分離されたプルーニングと微調整と比較して、統合的なプルーニングと微調整は、大規模事前学習モデルにおいて、モデル性能と効率性の面でどのように異なるか。
• RQ3 LoRA微調整を伴う反復的プルーニングにおいて、モデル回復と過学習のバランスを最適化するための最適なプルーニング頻度は何か。
• RQ4 LoRAガイドド重要度推定を用いた構造的プルーニングは、下流タスクでのモデル精度を維持しつつ、どれほどメモリオーバーヘッドを削減できるか。
• RQ5 提案手法により、直接的にLoRA重みをプルーニング済みモデルにマージできるため、効率的でメモリ効率的かつハードウェアに適合した推論を実現できるか。

主な発見

• 50%の圧縮率において、LoRAPruneはLLM-Prunerと比較してWikiText2で困惑度を8.0、PTBで16.05削減し、優れた精度を示す。
• LLaMA-65bをプルーニングする際、LoRAPruneはLLM-Prunerと比較して52.6%のメモリ使用量削減を達成し、3台のA100（80GB）GPUから1台のA100にまで削減可能である。
• LoRAガイドド基準は、バニラ勾配基準と比較してGPUメモリ使用量を52.6%削減し、スループットを64.6%向上させる。
• 統合的プルーニングと微調整は、分離されたプルーニングと微調整を上回り、特に高圧縮比において顕著な性能向上を示す。分類タスクにおいて50%圧縮比で平均精度が2.87ポイント向上した。
• 最適なプルーニング頻度は1回のプルーニングイテレーションあたり10回の微調整ステップであり、頻度が低い（例：1）と回復が制限され、頻度が高い（例：20）と過学習が生じる。
• LoRAガイドド基準とバニラ基準のマスク類似度は、特に低圧縮率で高い水準を維持しており、LoRAガイドド基準が正確で低コストなプルーニングを可能にする強力な近似であることが確認された。