[論文レビュー] Sparse Progressive Distillation: Resolving Overfitting under Pretrain-and-Finetune Paradigm

Shaoyi Huang, Dongkuan Xu+9 more|arXiv (Cornell University)|Oct 15, 2021

Topic Modeling被引用数 8

ひとこと要約

本論文は、スパースプログレッシブディスティルレーション（SPD）を提案する。SPDは、プログレッシブモジュールグラフトリング、知識蒸留、スパースプルーニングを組み合わせることで、微調整中にプルーニングされたBERT類似モデルの過学習を低減する手法である。SPDはGLUEベンチマークにおいて最先端の手法を上回り、平均スコア84.5を達成した。これは微調整済みBERTの83.7を上回り、MNLI や CoLA のようなタスクで顕著な改善を示した。

ABSTRACT

Conventional wisdom in pruning Transformer-based language models is that pruning reduces the model expressiveness and thus is more likely to underfit rather than overfit. However, under the trending pretrain-and-finetune paradigm, we postulate a counter-traditional hypothesis, that is: pruning increases the risk of overfitting when performed at the fine-tuning phase. In this paper, we aim to address the overfitting problem and improve pruning performance via progressive knowledge distillation with error-bound properties. We show for the first time that reducing the risk of overfitting can help the effectiveness of pruning under the pretrain-and-finetune paradigm. Ablation studies and experiments on the GLUE benchmark show that our method outperforms the leading competitors across different tasks.

研究の動機と目的

• 微調整プロセスにおけるプルーニングによって引き起こされる直感に反する過学習リスクに対処すること。
• 事前学習と微調整の枠組みにおいて、従来の直感とは反して、プルーニングが過学習を増加させる理由を調査すること。
• 過学習を緩和するために、一般用途の知識とタスク固有の知識の両方をプルーニング中に保持する手法を開発すること。
• プログレッシブグラフトリングと知識蒸留を統合することで、高スパarsity下でもモデルの性能と耐性を向上させること。
• プルーニング中に過学習リスクが増加することを実証的に検証し、SPDによる緩和を示すこと。

提案手法

• SPDは、教師モデルのプルーネッドレイヤーのアーキテクチャを模倣する学生モデルを用い、スパースな学生モジュールを教師に段階的にグラフトする。
• プログレッシブグラフトリング戦略により、教師レイヤーを学生モジュールに置き換える確率を段階的に増加させ、安定した知識移転を可能にする。
• プルーニング中に知識蒸留を適用し、教師から学生への知識移転を実現することで、性能低下を最小限に抑える。
• 二重最適化戦略を採用：プルーニング用と蒸留用の最適化器を別々に使用し、干渉を低減するための別々の学習率スケジュールを適用する。
• 動的プルーニングレートスケジューラを用い、グラフト確率が目標値に達した時点でプルーニングを終了することで、速度と精度のバランスを取る。
• 最終的なモデルは、グラフトされ、スパースな学生ネットワークであり、パrameter数を削減しながらも高い性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 事前学習と微調整の枠組みにおいて、微調整中にプルーニングを行うと、直感とは反して過学習リスクが高まるのか？
• RQ2 プログレッシブモジュールグラフトリングと知識蒸留が、プルーニングされた事前学習言語モデルにおける過学習を共同で緩和できるか？
• RQ3 高スパarsity下でのモデル一般化に影響を与えるプルーニングレート、グラフト確率、学習率の相互作用は何か？
• RQ4 過学習の緩和において、知識蒸留とプログレッシブグラフトリングの相対的寄与度はどの程度か？
• RQ5 SPDを用いて、教師モデルの精度に匹敵するがはるかに小さいサブネットワークを特定できるか？

主な発見

• SPDはGLUEの平均スコア84.5を達成し、微調整済みBERT教師モデルの83.7を上回り、すべての主要な競合手法を上回った。
• MNLIタスクでは85.0%の精度を達成し、教師モデルの84.0%を上回り、一般化性能の向上が示された。
• CoLAタスクでは61.4%のマシューズ相関係数を達成し、微調整済みBERT教師モデルの57.9%を顕著に上回った。
• アブレーションスタディの結果、プログレッシブグラフトリングと知識蒸留を併用することで、訓練セットと開発セットの性能差が、単独で用いる場合よりも顕著に縮小された。
• グラフト確率0.6が最適な性能をもたらし、単一の最適化器と比較して、二重最適化戦略が収束性と最終的な精度を向上させた。
• 特に高スパarsityレベルにおいて顕著な訓練・開発セットの性能差の縮小が観察されたことから、過学習が効果的に緩和されていることが裏付けられた。