[論文レビュー] AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning

Han Zhou, Xingchen Wan+2 more|arXiv (Cornell University)|Jan 28, 2023

VLSI and Analog Circuit Testing被引用数 5

ひとこと要約

AutoPEFT は、多目的ベイズ最適化を用いて最適なパラメータ効率の良い微調整（PEFT）設定を自動で探索するフレームワークを提案する。複数の PEFT モジュール（例：アダプタ、プレフィックスチューニング）、モジュールサイズ、挿入レイヤーを組み合わせた包括的な探索空間を検討し、従来の PEFT メソッドを上回る性能を示す設定を発見した。また、顕著に少ない可学習パラメータ数でフル微調整の精度に匹敵する結果を得た。

ABSTRACT

Large pretrained language models are widely used in downstream NLP tasks via task-specific fine-tuning, but such procedures can be costly. Recently, Parameter-Efficient Fine-Tuning (PEFT) methods have achieved strong task performance while updating much fewer parameters than full model fine-tuning (FFT). However, it is non-trivial to make informed design choices on the PEFT configurations, such as their architecture, the number of tunable parameters, and even the layers in which the PEFT modules are inserted. Consequently, it is highly likely that the current, manually designed configurations are suboptimal in terms of their performance-efficiency trade-off. Inspired by advances in neural architecture search, we propose AutoPEFT for automatic PEFT configuration selection: we first design an expressive configuration search space with multiple representative PEFT modules as building blocks. Using multi-objective Bayesian optimisation in a low-cost setup, we then discover a Pareto-optimal set of configurations with strong performance-cost trade-offs across different numbers of parameters that are also highly transferable across different tasks. Empirically, on GLUE and SuperGLUE tasks, we show that AutoPEFT-discovered configurations significantly outperform existing PEFT methods and are on par or better than FFT without incurring substantial training efficiency costs.

研究の動機と目的

• 事前学習言語モデル向けに手動で設計された PEFT 設定における性能と効率のトレードオフの不十分さを是正すること。
• 多様な PEFT モジュール、モジュールサイズ、挿入レイヤー選択を含む包括的かつ表現力豊かな探索空間を統合的に構築すること。
• タスクの精度とパラメータ効率の両方をバランスさせたパラメータ効率の良い PEFT 設定の自動発見を可能にすること。
• 最小限の再トレーニングで、多様な NLP タスクにわたって発見された設定の再利用性を向上させること。
• 手動による PEFT ハイパーパramータチューニングの計算的・工学的負担を軽減するため、自動的かつスケーラブルな探索を実現すること。

提案手法

• 直列アダプタ、並列アダプタ、プレフィックスチューニング、モジュール次元、挿入レイヤー選択を統合した包括的な PEFT 設定探索空間を設計する。
• 複数目的ベイズ最適化を用い、下流タスクの性能を最大化するとともに、可学習パラメータ数を最小化する。
• 探索コストを著しく削減しつつも設定の品質を維持するため、低精度の代理（1エポック訓練）を用いる。
• 1つの低リソースタスクで最良のパフォーマンスを示した設定を複数の下流タスクに適用し、一般化性能を評価する。
• より高い計算リソースを割り当てて、各タスクごとに AutoPEFT の探索を実施し、さらなるパフォーマンス向上を図る。
• アブレーションスタディを実施し、レイヤー選択やモジュールの組み合わせといった、探索空間の個別要因の影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 自動化フレームワークは、多様な NLP タスクにおいて、手動で設計されたベースラインを上回る PEFT 設定を発見できるか？
• RQ2 1 つの AutoPEFT 発見設定は、複数の GLUE および SuperGLUE タスクにどの程度一般化できるか？
• RQ3 複数の PEFT モジュールタイプと動的レイヤー選択の導入は、パフォーマンスと効率のトレードオフにどのように影響するか？
• RQ4 低精度設定における複数目的ベイズ最適化は、高性能でパラメータ効率の良い PEFT 設定を効果的に特定できるか？
• RQ5 精度とトレーニング効率の観点から、AutoPEFT はフル微調整と比較してどのように差をつけるか？

主な発見

• AutoPEFT が発見した設定は、GLUE および SuperGLUE ベンチマークで既存の PEFT メソッドを上回り、顕著に少ない可学習パラメータ数で最先端のパフォーマンスを達成した。
• BERT-large では、レイヤー選択を用いた AutoPEFT が、10 個の PEFT レイヤーと 128 の隠れ層次元で RTE タスクで 73.86% の精度を達成し、より少ないパラメータ数で AdapterDrop（73.50%）と Adaptable Adapter（73.36%）を上回った。
• このフレームワークは、GLUE タスクでフル微調整のパフォーマンスに匹敵する設定を発見し、可学習パラメータ数を最大 10 倍まで削減した。
• アブレーションスタディの結果、複数の PEFT モジュールの組み合わせと動的レイヤー選択は、固定設定と比較してパフォーマンスと効率のトレードオフを著しく改善することが確認された。
• AutoPEFT の設定の再利用性は強く、1 つのタスクで学習した設定が他のタスクへも最小限の性能低下で一般化された。
• AutoPEFT は探索空間に依存しない（アグノスティック）であり、多様な粒度と複雑さの設定を効果的に探索できた。