[論文レビュー] Better Fine-Tuning by Reducing Representational Collapse

Armen Aghajanyan, Akshat Shrivastava+4 more|arXiv (Cornell University)|Aug 6, 2020

Topic Modeling参考文献 29被引用数 20

ひとこと要約

本稿では、信頼領域理論に基づく効率的なファインチューニング手法 R3F および R4F を提案する。これらの手法はトレーニング中にパラメトリックノイズを適用することで表現の崩壊を低減し、GLUE、XNLI、要約、生成タスクにおいて標準的および敵対的ファインチューニングを上回る性能を発揮する。また、一般化可能な表現を維持しつつ、著しく少ない計算コストで実行可能である。

ABSTRACT

Although widely adopted, existing approaches for fine-tuning pre-trained language models have been shown to be unstable across hyper-parameter settings, motivating recent work on trust region methods. In this paper, we present a simplified and efficient method rooted in trust region theory that replaces previously used adversarial objectives with parametric noise (sampling from either a normal or uniform distribution), thereby discouraging representation change during fine-tuning when possible without hurting performance. We also introduce a new analysis to motivate the use of trust region methods more generally, by studying representational collapse; the degradation of generalizable representations from pre-trained models as they are fine-tuned for a specific end task. Extensive experiments show that our fine-tuning method matches or exceeds the performance of previous trust region methods on a range of understanding and generation tasks (including DailyMail/CNN, Gigaword, Reddit TIFU, and the GLUE benchmark), while also being much faster. We also show that it is less prone to representation collapse; the pre-trained models maintain more generalizable representations every time they are fine-tuned.

研究の動機と目的

• 事前学習された言語モデルの標準的ファインチューニングにおける不安定性および一般化性能の低さを解消すること。
• ファインチューニング中に、事前学習モデルから得られる一般化可能な特徴が劣化する現象、すなわち表現の崩壊を解明すること。
• SMART や FreeLB といった敵対的信頼領域手法の代替として、計算コストが低く効率的な手法を開発すること。
• 表現の崩壊が低減することで、多様な NLP タスクにおいてゼロショットおよびフェイワショット一般化性能が向上することを実証すること。

提案手法

• 本手法は、ファインチューニング中に事前学習モデルの表現にパラメトリックノイズ（正規分布または一様分布）を適用し、正則化として機能させる。
• 表現分布の変化を制約することで信頼領域最適化を近似し、崩壊を引き起こす大きな更新を回避する。
• 敵対的手法とは異なり、1回のバックプロパゲーションで更新が可能であるため、メモリおよび計算コストを削減する。
• 表現密度間のKLダイバージェンスによる制約付き最適化問題としてファインチューニングを定式化し、ノイズ注入によって近似する。
• R3F（残差接続付き）および R4F（追加の正規化付き）として実装され、両者とも効率性と安定性を考慮して設計されている。
• ファインチューニング後に固定された表現に対して線形ヘッドを訓練することで、表現品質と崩壊度を測定するためのプローブ実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 標準的ファインチューニングは、事前学習モデルから得られる一般化可能な特徴が適応過程で劣化する表現の崩壊を引き起こすか？
• RQ2 信頼領域に基づく手法は、標準的ファインチューニングと比較して表現の崩壊をより効果的に緩和できるか？
• RQ3 既存の敵対的ファインチューニング手法よりも単純で、計算コストが低い代替手法が、同等またはより優れた性能を達成できるか？
• RQ4 R3F および R4F は、連続的およびサイクル的なタスクファインチューニングにおいて、表現品質をどの程度維持できるか？
• RQ5 表現の崩壊が低減することで、下流タスクにおけるゼロショットおよびフェイワショット一般化性能が向上するか、その相関関係はどの程度か？

主な発見

• R3F および R4F は、すべての評価済み GLUE タスクで標準的ファインチューニングおよび SMART などの敵対的手法を上回り、RoBERTa における GLUE での新たな SOTA スコアを樹立した。
• 追加の事前学習なしでゼロショット XNLI でも最先端の性能を達成し、より優れた多言語一般化能力を示した。
• 要約タスク（DailyMail/CNN、Gigaword、Reddit TIFU）においても、R3F および R4F は標準的ファインチューニングを一貫して上回り、新たな SOTA スコアを達成した。
• プローブ実験の結果、R3F および R4F は標準的ファインチューニングと比較して、より高品質な表現を維持しており、連続的タスクファインチューニングにおいて顕著な劣化が見られなかった。
• サイクル的プローブ実験では、R4F は複数回のファインチューニングサイクルを経ても表現品質を保持している一方、標準的ファインチューニングは段階的な性能低下を示した。
• SMART よりも表現の崩壊をより効果的に低減でき、多様な NLP タスクにおいて一般化性能および耐性が向上していることが相関した。