[論文レビュー] Learning to Teach with Student Feedback

Yitao Liu, Tianxiang Sun+2 more|arXiv (Cornell University)|Sep 10, 2021

Topic Modeling参考文献 18被引用数 6

ひとこと要約

本稿では、学生のフィードバックに基づいて教師モデルが柔軟にソフトターゲットを再調整できる仕組みを備えた、双方向の知識蒸留フレームワーク「インタラクティブ知識蒸留（IKD）」を提案する。メタラーニングに着想を得たコース・試験トレーニングループを用い、教師・学生両モデルを同時に最適化することで、GLUEベンチマークにおける複数の自然言語処理タスクで、従来の知識蒸留手法に比して一貫した性能向上を達成した。

ABSTRACT

Knowledge distillation (KD) has gained much attention due to its effectiveness in compressing large-scale pre-trained models. In typical KD methods, the small student model is trained to match the soft targets generated by the big teacher model. However, the interaction between student and teacher is one-way. The teacher is usually fixed once trained, resulting in static soft targets to be distilled. This one-way interaction leads to the teacher's inability to perceive the characteristics of the student and its training progress. To address this issue, we propose Interactive Knowledge Distillation (IKD), which also allows the teacher to learn to teach from the feedback of the student. In particular, IKD trains the teacher model to generate specific soft target at each training step for a certain student. Joint optimization for both teacher and student is achieved by two iterative steps: a course step to optimize student with the soft target of teacher, and an exam step to optimize teacher with the feedback of student. IKD is a general framework that is orthogonal to most existing knowledge distillation methods. Experimental results show that IKD outperforms traditional KD methods on various NLP tasks.

研究の動機と目的

• 一方向の知識蒸留における制限、すなわち教師モデルが静的であり、学生の学習進捗に応じて適応できないという問題を解決すること。
• トレーニング中に学生のフィードバックを受けて教師が学習する仕組みを導入することで、動的で相互的な知識移転を可能にすること。
• 教師・学生両モデルの共同最適化フレームワークを用いて、学生の汎化性能と蒸留効率を向上させること。
• 特徴の蒸留に焦点を当てる従来の知識蒸留手法とは異なり、対話的な指導に注力する、直交的な手法を開発すること。
• 低リソース環境および半教師あり学習設定において、フィードバック駆動の教師適応が有効であることを示すこと。

提案手法

• IKDは2段階の反復的トレーニングプロセスを採用する：コースステップでは学生が教師が生成するソフトターゲットで学習し、試験ステップでは学生が別個の試験データセットで評価された結果をもとに、教師のメタ勾配を生成する。
• 試験ステップでは、試験データ上で1ステップの勾配更新を行った後の学生の性能を評価し、その結果得られる交差エントロピー損失を逆伝播させて、教師のパラメータをメタラーニングにより更新する。
• フレームワークはモデルに依存しないメタラーニング（MAML）に基づいており、計算コストを低減するための1次近似を用いることで、学生の汎化性能を向上させる教える戦略を教師が学習可能となる。
• コースデータと試験データは別々のバッチとして扱われており、教師が未観測の例に対しても一般化できるソフトターゲットを生成するように学習する。
• コースデータをラベルなしに許容することで、半教師あり学習にも対応し、低リソースな状況への応用可能性を拡張する。
• 教師と学生の共同最適化はネストされたループによって実現され、内側のループで学生の更新を行い、外側のループで教師の更新を行う。試験データでの学生の性能に基づく勾配が、教師の適応を導く。

実験結果

リサーチクエスチョン

• RQ1 学生のフィードバックに基づいて教師モデルがソフトターゲットを動的に適応させることで、蒸留性能が向上するか？
• RQ2 インタラクティブ知識蒸留は、NLPタスクにおける学生の汎化性能と精度の観点から、静的知識蒸留に比べてどのように異なるか？
• RQ3 トレーニングの異なる段階で得られる学生のフィードバックが、教師の教える戦略の適応能力に与える影響は何か？
• RQ4 本手法のフレームワークは、コースデータがラベルなしである半教師あり学習設定へも拡張可能か？
• RQ5 メタラーニングによる教師・学生の共同最適化は、モデルの効率性と収束性にどのように影響を与えるか？

主な発見

• IKDはGLUEベンチマークにおける複数のNLPタスクで、従来の知識蒸留手法を一貫して上回り、優れた汎化性能と精度を示した。
• 学生のフィードバック信号は時間経過とともにゼロに収束する傾向にあり、教師の適応的指導戦略が初期段階で効果を発揮し、学生の学習に伴い安定化することが示された。
• 本手法は、特定の特徴（例：アテンションマップ、隠れ状態）を蒸留することに焦点を当てる従来の知識蒸留手法とは直交しており、それらと組み合わせることで性能が向上することが確認された。
• 試験ステップから得られる意味のあるメタ勾配が、教師の適応を的確に導くことが実証されており、未観測データに対する学生の性能向上が確認された。
• IKDは、コースデータがラベルなしに許容される半教師あり設定でも優れた性能を示し、完全に教師あり蒸留を超えた応用性を有する。
• 1次近似のMAMLを用いることで、高い性能を維持しつつも、効率的なトレーニングが可能となり、大規模なNLPモデルに対しても実用的であることが示された。