[論文レビュー] Parameter-Efficient Fine-Tuning for Foundation Models

Dan Zhang, Tao Feng+4 more|ArXiv.org|Jan 23, 2025

Numerical methods for differential equations被引用数 4

ひとこと要約

この調査は、基盤モデル全体にわたるパラメータ効率的微調整（PEFT）手法を体系的にレビューし、アプローチを「Selective（選択的）」、「Additive（加法的）」「Prompt（プロンプト）」「Reparameterization（再パラメータ化）」「Hybrid（ハイブリッド）」に分類し、傾向、適用、今後の方向性を概説する。

ABSTRACT

This survey delves into the realm of Parameter-Efficient Fine-Tuning (PEFT) within the context of Foundation Models (FMs). PEFT, a cost-effective fine-tuning technique, minimizes parameters and computational complexity while striving for optimal downstream task performance. FMs, like ChatGPT, DALL-E, and LLaVA specialize in language understanding, generative tasks, and multimodal tasks, trained on diverse datasets spanning text, images, and videos. The diversity of FMs guides various adaptation strategies for PEFT. Therefore, this survey aims to provide a comprehensive overview of PEFT techniques applied to diverse FMs and address critical gaps in understanding the techniques, trends, and applications. We start by providing a detailed development of FMs and PEFT. Subsequently, we systematically review the key categories and core mechanisms of PEFT across diverse FMs to offer a comprehensive understanding of trends. We also explore the most recent applications across various FMs to demonstrate the versatility of PEFT, shedding light on the integration of systematic PEFT methods with a range of FMs. Furthermore, we identify potential research and development directions for improving PEFTs in the future. This survey provides a valuable resource for both newcomers and experts seeking to understand and use the power of PEFT across FMs. All reviewed papers are listed at \url{https://github.com/THUDM/Awesome-Parameter-Efficient-Fine-Tuning-for-Foundation-Models}.

研究の動機と目的

• 基盤モデルを説明し、学習コストを削減するためのPEFTの必要性を説明する。
• PEFT手法を五つのFM構造（LLM、VFM、VLM、MFM、VGM）にわたって調査・分類する。
• PEFT技術の設計 choices、トレードオフ、適用性を分析する。
• 現在の適用を要約し、未解決の課題と今後の方向性を特定する。

提案手法

• 入力モードとタスクによって基盤モデルを定義・分類する。
• 五つのPEFTカテゴリ：Selective、Additive、Prompt、Reparameterization、Hybrid PEFTを導入する。
• 各カテゴリ内の代表的技術とメカニズム（例：アダプタ、プロンプト、マスク、再パラメータ化）を詳述する。
• さまざまなFM間での長所と短所を比較し、展開上の考慮事項を議論する。
• LLMs、VFMs、VLMs、MFMs、VGMsへの最近の適用を調査する。
• 将来の研究方向と潜在的統合フレームワークを強調する。

Figure 1: An overview of trends in PEFT methods in various FMs (LLM, VFM, VLM, MFM, and VGM). The number of citations from Semantic Scholar serves as a trend indicator.

実験結果

リサーチクエスチョン

• RQ1 異なるモダリティにわたって基盤モデルを適応させる主なPEFT戦略は何か。
• RQ2 Selective、Additive、Prompt、Reparameterization、Hybrid PEFT手法は、学習可能パラメータ、性能、展開のトレードオフの観点からどう比較されるか。
• RQ3 LLMs、VFMs、VLMs、MFMs、VGMsにおけるPEFTの現在の適用動向とギャップは何か。
• RQ4 多様な基盤モデルを横断してPEFT手法を統合する将来の方向性は何か。

主な発見

• PEFTは学習可能パラメータと計算オーバーヘッドを大幅に削減しつつ、ほぼフル微調整の性能を目指す。
• 五つのPEFT系統が同定される：selective、additive、prompt、reparameterization、hybrid、それぞれ独自の機構とトレードオフを持つ。
• LLMs、VFMs、VLMs、MFMs、VGMsを通じて、アダプタ、プロンプト、パラメータ化が支配的な技術である。
• 自動および自動基準ベースの選択手法は、固定的な選択調整と比較して、柔軟だがメモリ/時間のトレードオフをもたらす。
• ハイブリッド手法とクロスモーダル適応は、より広い転移学習と効率性に有望を示す。
• 現在の調査はPEFTの活動が活発で、特にLLMと視覚基盤モデルに強い焦点があることを示している。

Figure 2: Left: Versatile scenarios and applications in the era of FMs. Right: A detailed illustration of four common PEFT methods ( Selective , Additive , Prompt , and Reparameterization PEFT).