[論文レビュー] Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning

Runxin Xu, Fuli Luo+5 more|arXiv (Cornell University)|Sep 13, 2021

Topic Modeling参考文献 33被引用数 4

ひとこと要約

この論文では、バックプロパゲーション中の勾配マスクを用いて、パラメータのサブセット（「チャイルドネットワーク」）のみを更新することで、大規模言語モデルの性能と一般化性能を向上させる、新しいファインチューニング手法であるChild-Tuningを提案する。この手法は、アンサンブルファインチューニングと比較して最大8.6ポイントの向上を達成し、GLUEベンチマークおよびトランスファー学習のシナリオにおいて一貫して先行手法を上回る性能を示す。

ABSTRACT

Recent pretrained language models extend from millions to billions of parameters. Thus the need to fine-tune an extremely large pretrained model with a limited training corpus arises in various downstream tasks. In this paper, we propose a straightforward yet effective fine-tuning technique, Child-Tuning, which updates a subset of parameters (called child network) of large pretrained models via strategically masking out the gradients of the non-child network during the backward process. Experiments on various downstream tasks in GLUE benchmark show that Child-Tuning consistently outperforms the vanilla fine-tuning by 1.5~8.6 average score among four different pretrained models, and surpasses the prior fine-tuning techniques by 0.6~1.3 points. Furthermore, empirical results on domain transfer and task transfer show that Child-Tuning can obtain better generalization performance by large margins.

研究の動機と目的

• 限られたデータ上で大規模事前学習済み言語モデルのファインチューニングにおいて一般的に見られる過学習および一般化性能の低さを是正すること。
• パラメータ更新をモデルの一部に制限することで、知識の忘却のリスクを軽減すること。
• 追加パラメータを追加せずに、ドメイン内およびドメイン外のトランスファー性能を両方向上させる手法を開発すること。
• ファインチューニングに最も関連するパラメータサブネットワーク（チャイルドネットワーク）を特定するための、タスクフリーおよびタスクドリブンな戦略を検討すること。
• 既存の正則化法およびパラメータ効率の良いファインチューニング手法と直交する技術を提供し、それらと組み合わせてさらなる性能向上を可能にすること。

提案手法

• バックプロパゲーション中に勾配マスクを適用し、チャイルドネットワークに属さないすべてのパラメータの勾配をゼロにすることで、更新をチャイルドネットワークに限定する。
• タスクフリーな手法（Child-Tuning F）を採用し、全勾配にベルヌーイマスクを適用することで、正則化のための確率的要因を導入する。
• タスクドリブンな手法（Child-Tuning D）を採用し、フィッシャー情報行列（FIM）を用いてタスクに最も関連するパラメータを同定し、非チャイルドパラメータの勾配をマスクする。
• モデルのプルーニングとは異なり、完全な順方向伝播を維持することで、事前学習済み重みからの知識を保持する。
• Child-Tuning Dでは、トレーニング開始前にFIMを用いてチャイルドネットワークを検出することで、ファインチューニング中に効率的な勾配マスクが可能になる。
• 既存の手法と統合するため、勾配マスクを後処理ステップとして適用することで、他の正則化技術と直交する性質を保つ。

実験結果

リサーチクエスチョン

• RQ1 勾配マスクによる選択的パラメータ更新は、小規模なドメイン内データセットにおけるファインチューニング性能を向上させるか？
• RQ2 Vanillaファインチューニングと比較して、Child-Tuningはドメイン外およびクロストラスフター設定における一般化性能を向上させるか？
• RQ3 性能と頑健性の観点から、タスクフリーなバージョン（Child-Tuning F）とタスクドリブンなバージョン（Child-Tuning D）の間にどのような差があるか？
• RQ4 Child-Tuningは、既存のファインチューニング技術とどの程度組み合わせて性能をさらに向上させられるか？
• RQ5 異なるNLPタスク間で、同定されたチャイルドネットワークはどの程度安定的で、移植可能か？

主な発見

• GLUEベンチマークにおいて、4種類の事前学習済みモデルを用いた実験で、Child-Tuningはアンサンブルファインチューニングと比較して平均1.5〜8.6ポイントの性能向上を達成した。
• 同じベンチマークで、先行するSOTAファインチューニング手法を平均0.6〜1.3ポイント上回った。
• ドメイントランスファーおよびタスクトランスファー設定において、Child-Tuningは顕著な一般化性能の向上を示し、類似したタスク間でチャイルドネットワーク選択の重複度が高かった。
• タスクドリブンなチャイルドネットワーク選択（Child-Tuning D）では、NLIタスク（RTE、QNLI、MNLI）間でJaccard類似度が最大約0.7に達し、関連パラメータの一貫した同定が示された。
• タスクフリーなバージョン（Child-Tuning F）は、勾配ノイズの注入により小規模データセットでの過学習を軽減し、タスクデータを検出段階で必要とせず一般化性能を向上させた。
• 既存手法とChild-Tuningを統合することでさらなる性能向上が得られ、その直交性および現在のファインチューニングパラダイムとの互換性が確認された。