[論文レビュー] Revisiting Parameter-Efficient Tuning: Are We Really There Yet?

Guanzheng Chen, Fangyu Liu+2 more|arXiv (Cornell University)|Jan 1, 2022

Topic Modeling被引用数 2

ひとこと要約

この論文は、LoRA、アダプタ、プレフィックスチューニング、ビットフィットを含むパラメータ効率のチューニング（PETuning）手法を再評価し、現在の評価手法における欠陥が、楽観的な性能主張を生じさせることを明らかにする。公平で独立した検証およびテストプロトコルのもとで、PETuningは、特に中・高リソース設定において、完全微調整を一貫して上回らない。また、重み初期化やデータ順序に起因する顕著な不安定性を示しており、トレーニングパラメータ数を減らし、訓練ステップ数を増やすことで安定性が向上する。

ABSTRACT

Parameter-Efficient Tuning (PETuning) methods have been deemed by many as the new paradigm for using pretrained language models (PLMs). By tuning just a fraction amount of parameters comparing to full model finetuning, PETuning methods claim to have achieved performance on par with or even better than finetuning. In this work, we take a step back and re-examine these PETuning methods by conducting the first comprehensive investigation into the training and evaluation of them. We found the problematic validation and testing practice in current studies, when accompanied by the instability nature of PETuning methods, has led to unreliable conclusions. When being compared under a truly fair evaluation protocol, PETuning cannot yield consistently competitive performance while finetuning remains to be the best-performing method in medium- and high-resource settings. We delve deeper into the cause of the instability and observed that the number of trainable parameters and training iterations are two main factors: reducing trainable parameters and prolonging training iterations may lead to higher stability in PETuning methods.

研究の動機と目的

• PETuning手法の現在の評価プロトコルの信頼性を調査すること。特に、開発セットを早期停止と性能報告の両方で使用する手法が、性能に関する偏った結論を導く可能性があること。
• PETuning手法が、多様なデータリソース設定において、完全微調整を一貫して上回ることを確認すること。
• PETuning手法に観察される不安定性を分析し、その性能の一貫性に影響を与える要因を同定すること。
• 検証とテストセットを明確に分離することで、汎化性能の評価をより公平に行うフレームワークを提言すること。

提案手法

• データ漏洩を回避するため、12のGLUEおよびSuperGLUEタスクで標準化された訓練／開発／テスト分割を用いた制御実験を実施。
• 低リソースおよび中リソースタスクには20個のランダムシード、高リソースタスクには10個のランダムシードを用い、標準偏差を用いて安定性を測定。
• 厳密な評価プロトコルを適用し、検証データは早期停止の目的にのみ使用し、テストは保持されたテストセットに対して一度だけ実施。
• トレーニングパラメータ数と訓練ステップ数を系統的に変化させ、安定性および性能に与える影響を分析。
• 同じ条件下で、PETuning手法（アダプタ、プレフィックスチューニング、LoRA、ビットフィット）と完全微調整を比較。
• 統計的有意性を報告し、標準偏差を用いて実行間の不安定性を定量化。

実験結果

リサーチクエスチョン

• RQ1 開発セットを早期停止と性能報告の両方で使用する現在の実践は、PETuning性能に関する偏った信頼性の低い結論を導くか？
• RQ2 PETuning手法は、さまざまなデータリソースレベル（低、中、高）において一貫して完全微調整を上回ることができるか？
• RQ3 トレーニング中に観察されるPETuning手法の不安定性を引き起こす要因は何か？
• RQ4 トレーニングパラメータ数と訓練ステップ数は、PETuning手法の安定性および性能にどのように影響するか？

主な発見

• PETuning手法は一貫して完全微調整を上回らない。特に中・高リソース設定では性能が劣り、すべてのタスクで一貫した優位性を示す手法は存在しない。
• プレフィックスチューニング（PT）は他のPETuning手法と比べて著しく遅れをとり、特に低リソース状況では顕著に性能が低い。
• すべてのPETuning手法がランダムシードに起因する高い不安定性を示しており、重み初期化や訓練データのシャッフルによって性能が大きく変動する。
• 各PETuning手法クラス内でトレーニング可能パラメータ数を減らすことで安定性が向上し、小さなパラメータ更新がより一貫した結果をもたらすことが示唆される。
• 訓練ステップ数を増やすことで一般的に不安定性が低下するが、小規模データセットでの長時間の訓練が必ずしも良い性能をもたらすとは限らず、依然として高い分散を示す可能性がある。
• 従来の研究で用いられた標準的な評価プロトコルは、データ漏洩のため性能推定値が誇張されており、PETuningの優位性を主張する根拠を無効にしている。