[論文レビュー] Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning

Vladislav Lialin, Vijeta Deshpande+2 more|arXiv (Cornell University)|Mar 28, 2023

Topic Modeling被引用数 69

ひとこと要約

パラメータ効率的微調整（PEFT）手法の体系的概観と分類法。2019年から2023年までの40件超の論文を比較し、大規模トランスフォーマーの効率性、トレードオフ、未解決の課題を強調します。

ABSTRACT

This paper presents a systematic overview of parameter-efficient fine-tuning methods, covering over 50 papers published between early 2019 and mid-2024. These methods aim to address the challenges of fine-tuning large language models by training only a small subset of parameters. We provide a taxonomy that covers a broad range of methods and present a detailed method comparison with a specific focus on real-life efficiency in fine-tuning multibillion-scale language models. We also conduct an extensive head-to-head experimental comparison of 15 diverse PEFT methods, evaluating their performance and efficiency on models up to 11B parameters. Our findings reveal that methods previously shown to surpass a strong LoRA baseline face difficulties in resource-constrained settings, where hyperparameter optimization is limited and the network is fine-tuned only for a few epochs. Finally, we provide a set of practical recommendations for using PEFT methods and outline potential future research directions.

研究の動機と目的

• PEFT手法の包括的な分類法を提供し、2019年から2023年までの40件超の論文を分類する。
• ストレージ、メモリ、計算量、精度、推論オーバーヘッドの観点でPEFTアプローチを比較する。
• 数十億パラメータ規模のモデルにおける実用的な効率を分析し、実運用上の考慮事項を特定する。
• 未解決の課題を強調し、標準化されたベンチマークと今後の研究方向の提案を行う。

提案手法

• PEFT手法を添加ベース、選択ベース、再parametrizationベースのカテゴリに分類し、ハイブリッドも含める。
• アダプター（Adapters）とソフトプロンプトを含む付加型サブタイプを、代表的なバリアントとトレードオフとともに詳述する。
• 選択的手法と再パラメータ化手法を説明し、Intrinsic SAIDとLoRaを含む、これらのメモリとパラメータ効率の側面を要約する。
• パラメータ数、ストレージ、メモリ、学習/推論コストに焦点を当てた方法間の横断比較を提供する。
• コアとなるアイデアを示すための疑似コードスニペットと実践的な実装ノートを提供する。

Figure 1: Basic Transformer block

実験結果

リサーチクエスチョン

• RQ1 ストレージ、メモリ、計算量、精度の観点で、主要なPEFTパラダイムとそのトレードオフは何か？
• RQ2 代表的なPEFT手法は、モデルサイズとデータセットの複雑さに対してどのようにスケールするのか、特に数十億パラメータ級のトランスフォーマーにおいてはどうか？
• RQ3 現実世界の設定でPEFT手法をベンチマーキングし展開する際の現在のギャップ、課題、ベストプラクティスは何か？

主な発見

• PEFT手法は学習可能パラメータを大幅に削減し、フルファインチューニングでは不可能な非常に大規模なモデルのファインチューニングを可能にすることがある。
• 付加型、選択型、再パラメータ化ベースのPEFT手法は、それぞれ異なるメモリおよび計算特性を提供し、モデルサイズの異なる適用性に差がある。
• ハイブリッド手法は、複数のPEFTクラスの長所を組み合わせ、更新パラメータを限定しつつ高い精度を達成できる。
• 理論的理解、ベンチマーク基準、報告慣行にはまだギャップがあり、標準化されたPEFTベンチマークとより深いハイパーパラメータ・解釈性研究の方向性を示唆している。

Figure 2: Parameter-efficient fine-tuning methods taxonomy. We identify three main classes of methods: Addition -based, Selection -based, and Reparametrization -based. Within additive methods, we distinguish two large included groups: Adapter-like methods and Soft prompts .