[論文レビュー] Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey

Zeyu Han, Chao Gao+3 more|arXiv (Cornell University)|Mar 21, 2024

Parallel Computing and Optimization Techniques被引用数 90

ひとこと要約

本論文は大規模モデル向けのパラメータ効率的微調整（PEFT）手法を概観し、アルゴリズムを分類し、性能とシステムコストを分析し、モードを跨ぐ現実世界の応用を概説する。

ABSTRACT

Large models represent a groundbreaking advancement in multiple application fields, enabling remarkable achievements across various tasks. However, their unprecedented scale comes with significant computational costs. These models, often consisting of billions of parameters, require vast amounts of computational resources for execution. Especially, the expansive scale and computational demands pose considerable challenges when customizing them for particular downstream tasks, particularly over the hardware platforms constrained by computational capabilities. Parameter Efficient Fine-Tuning (PEFT) provides a practical solution by efficiently adjusting the large models over the various downstream tasks. In particular, PEFT refers to the process of adjusting the parameters of a pre-trained large model to adapt it to a specific task or domain while minimizing the number of additional parameters introduced or computational resources required. This approach is particularly important when dealing with large-scale language models with high parameter counts, as fine-tuning these models from scratch can be computationally expensive and resource-intensive, posing considerable challenges in the supporting system platform design. In this survey, we present comprehensive studies of various PEFT algorithms, examining their performance and computational overhead. Moreover, we provide an overview of applications developed using different PEFT algorithms and discuss common techniques employed to mitigate computation costs for PEFT. In addition to providing an extensive survey from an algorithmic standpoint, we also examine various real-world system designs to investigate the implementation costs associated with different PEFT approaches. This survey serves as a valuable resource for researchers aiming to understand both the PEFT algorithm and its system implementation, offering detailed ......

研究の動機と目的

• 大規模な事前学習モデルをダウンストリームタスクに対して効率的に適応させる必要性を喚起する。
• PEFTアルゴリズムとそのコアメカニズムを体系的に分類する。
• PEFT手法の計算オーバーヘッドと実用的なシステムへの影響を評価する。
• NLP、ビジョン、マルチモーダルモデルにおけるPEFTの応用を強調し、デプロイメント上の考慮事項を議論する。

提案手法

• PEFT手法を加法的、選択的、再パラメータ化、ハイブリッドのカテゴリに分類する。
• 各カテゴリ内の代表的アルゴリズムを詳述する（例：アダプター、ソフトプロンプト、プルーニング、LoRAとその派生形）。
• これらの手法が性能を高めるためにモデルパラメータをどのように修正または活用するかを説明する。
• 計算コスト削減の技術を分析する（KVキャッシュ管理、プルーニング、量子化、メモリ最適化）。
• PEFTをデプロイする際のアーキテクチャ・システムレベルの考慮事項を議論する（分散チューニング、クエリ提供、同時チューニング）。
• LLMs、Vision Transformers、ビジョン-言語モデル、ディフュージョンモデルにわたる応用を調査する。

実験結果

リサーチクエスチョン

• RQ1 主なPEFTアルゴリズムファミリーとそれらの特徴的な機構は何か？
• RQ2 加法的、選択的、再パラメータ化、ハイブリッドPEFT手法は、パラメータ効率と性能の点でどう比較されるか？
• RQ3 異なるモデルファミリーとタスクに対して、PEFTの現実的なシステムコストとデプロイメント上の考慮事項は何か？
• RQ4 PEFTが最も影響を与える主要な応用領域とモデルアーキテクチャは何か？

主な発見

• PEFT手法は4つの大きなファミリー（加法的、選択的、再パラメータ化、ハイブリッド）に分類され、各々が固有の設計上のトレードオフを持つ。
• アダプター、ソフトプロンプト、その他の加法的手法は、完全微調整のパラメータ効率的代替手段を提供し、効率と精度のプロファイルは様々。
• 選択的PEFTはマスクや構造化プルーニングを用いてパラメータの一部を微調整し、ハードウェア効率とスケーラビリティを向上させる。
• 再パラメータ化PEFTは、特にLoRAとその派生形が、低ランクの更新を学習することで高速推論を維持しつつ高い効率を達成する。
• ハイブリッドPEFTは複数ファミリーのアイデアを組み合わせ、性能と効率のバランスを取る。
• 本調査は分散チューニング、PEFTクエリ提供、同時チューニングを含むシステムレベルの考慮事項にも触れ、実務的なデプロイメントコストと制約を明らかにする。
• 応用はLLMs、Vision Transformers、ビジョン-言語モデル、ディフュージョンモデルに及び、モダリティを跨ぐPEFTの適用性を示している。