[論文レビュー] Fine-Tuning Pre-Trained Language Models Effectively by Optimizing Subnetworks Adaptively

Haojie Zhang, Ge Li+4 more|arXiv (Cornell University)|Nov 3, 2022

Topic Modeling被引用数 13

ひとこと要約

本稿では、蓄積された勾配に基づいてトレーニング中にタスク関連のサブネットワークを動的に選択する、大規模な事前学習言語モデル向けの新しい適応的微調整手法であるDynamic Parameter Selection (DPS) を提案する。DPSは、多様なモデルや低リソース設定において安定性、汎化性能、パフォーマンスの向上を実現し、GLUEベンチマークで先行手法を最大1.33ポイント上回り、分散が低減され、計算コストの増加も最小限に抑えられる。

ABSTRACT

Large-scale pre-trained language models have achieved impressive results on a wide range of downstream tasks recently. However, fine-tuning an extremely large-scale pre-trained language model on limited target datasets is often plagued by overfitting and representation degradation. In this paper, we propose a Dynamic Parameter Selection (DPS) algorithm for the large-scale pre-trained models during fine-tuning, which adaptively selects a more promising subnetwork to perform staging updates based on gradients of back-propagation. Experiments on the GLUE benchmark show that DPS outperforms previous fine-tuning methods in terms of overall performance and stability, and consistently achieves better results with variable pre-trained language models. In addition, DPS brings a large magnitude of improvement in out-of-domain transferring experiments and low-resource scenarios, which shows that it can maintain stable general contextual features and reduce the representation collapse. We release our code at https://github.com/ZhangHaojie077/DPS

研究の動機と目的

• 小規模またはドメイン外のデータセットにおける大規模事前学習言語モデルの微調整における不安定性と一般化性能の低さを解消すること。
• ランダム選択（Mixout）や静的サブネットワーク（CHILD-TUNING D）といった従来のサブネットワーク最適化手法の限界、すなわち動的パラメータ重要度を無視する点や、高い計算コストを伴う点を克服すること。
• 勾配蓄積を最適化から分離せずに、トレーニング中に有望なサブネットワークを適応的に選択する手法を開発し、オーバーヘッドを低減すること。
• 多様な事前学習モデル、サブネットワークサイズ、データ環境（低リソースおよびドメイン外シナリオを含む）において、モデルの安定性と一般化性能を向上させること。

提案手法

• DPSは、2段階のサイクル的更新戦略を採用する：第1段階では、微調整中に更新パラメータのバッチ内勾配を蓄積する。
• 第2段階では、第1段階で蓄積された勾配を用いて、段階固有の重要なパラメータのサブネットワークを導出する。この段階では、そのサブネットワークのみを更新し、他のパラメータは固定する。
• 2つのバリエーションを提案する：DPS Denseは第1段階で全ネットワークを更新し、第2段階で動的サブネットワークを更新する。DPS Mixは第1段階で出力重みを事前学習済み重みにランダム置換し、第2段階で更新頻度に対するペナルティを課した選択を適用する。
• パラメータの重要度は、勾配の大きさ順位（DPS Dense）または平均勾配値と更新頻度に対する指数的ペナルティを組み合わせたハイブリッド指標（DPS Mix）で測定する。
• サブネットワークの導出をトレーニングループに統合することで、外部の勾配計算を回避し、追加の計算コストを最小限に抑える。
• 本手法は、GLUEベンチマークタスクを対象に、複数の事前学習モデル（BERT, RoBERTa, BART, ELECTRA, DeBERTa）に適用している。

実験結果

リサーチクエスチョン

• RQ1 微調整中に適応的サブネットワーク選択が、下流NLPタスクにおけるモデルパフォーマンスと安定性を向上させ得るか？
• RQ2 提案手法DPSは、低リソースおよびドメイン外設定において過学習や表現劣化を低減するか？
• RQ3 Mixout や CHILD-TUNING D といった既存のサブネットワーク最適化手法と比較して、DPSは効率性とパフォーマンスで優れているか？
• RQ4 DPSは、多様な事前学習モデルアーキテクチャとサブネットワークサイズにおいて一貫した改善を達成できるか？

主な発見

• GLUEベンチマークにおいて、DPSはアンサンブル微調整を0.44～1.33ポイント上回り、標準偏差が0.29～0.80ポイント低減しており、安定性の向上が示された。
• ドメイン外転送および低リソースシナリオでは、それぞれ最大1.86点および3.27点の絶対スコア改善を達成し、優れた一般化性能を示した。
• DPSは、アーキテクチャや事前学習品質に関係なく、5種類の異なる事前学習モデル（BERT, RoBERTa, BART, ELECTRA, DeBERTa）において一貫したパフォーマンス向上を実現した。
• 十分な訓練データ（例：SST-2, QNLI）が利用可能な状況でも、DPSは依然としてパフォーマンス向上を示した（例：SST-2で+0.54）。これは、少サンプル設定にとどまらない強靭性を示している。
• DPS DenseとDPS Mixは、それぞれ12%および30%のトレーニング時間増加にとどまり、CHILD-TUNING D（313%のオーバーヘッド）に比べてはるかに高速であった。
• アブレーションスタディの結果、DPSはサブネットワークサイズの異なるさまざまな状況で、Mixout や CHILD-TUNING D よりもタスク関連パラメータをより効果的に捉えていることが示された。