[論文レビュー] Transferring Inductive Biases through Knowledge Distillation

Samira Abnar, Mostafa Dehghani+1 more|arXiv (Cornell University)|May 31, 2020

Topic Modeling参考文献 57被引用数 13

ひとこと要約

この論文は、強いアーキテクチャ的インダクティブバイアス（例：LSTM、CNN）を持つ教師モデルから、弱いバイアスを持つ学生モデル（例：Transformer、MLP）へ、知識蒸留（KD）を用いてインダクティブバイアスを転送する方法を調査する。KDは学生の性能向上に加え、教師モデルの学習済み表現および学習ダイナミクスに近づける効果もあり、単なる精度向上を超えた定性的な解決特性の転送を実現していることが示された。

ABSTRACT

Having the right inductive biases can be crucial in many tasks or scenarios where data or computing resources are a limiting factor, or where training data is not perfectly representative of the conditions at test time. However, defining, designing and efficiently adapting inductive biases is not necessarily straightforward. In this paper, we explore the power of knowledge distillation for transferring the effect of inductive biases from one model to another. We consider families of models with different inductive biases, LSTMs vs. Transformers and CNNs vs. MLPs, in the context of tasks and scenarios where having the right inductive biases is critical. We study the effect of inductive biases on the solutions the models converge to and investigate how and to what extent the effect of inductive biases is transferred through knowledge distillation, in terms of not only performance but also different aspects of converged solutions.

研究の動機と目的

• 知識蒸留が、異なるアーキテクチャを持つ学生モデルへ教師モデルのインダクティブバイアス効果を転送できるかどうかを調査すること。
• KDが性能向上に加え、表現の類似性および学習ダイナミクスの観点から、学生モデルが教師のインダクティブバイアスを反映する解法に近づくかどうかを検討すること。
• 限られたデータや分布シフトが生じる状況（例：動詞の一致、破損したMNIST）におけるインダクティブバイアスの影響を評価すること。
• 異なる教師-学生ペア（例：CNN → MLP、LSTM → Transformer）を用いた蒸留の効果を比較し、転送されたインダクティブバイアスが学生の行動に定性的に反映されているかどうかを評価すること。

提案手法

• インダクティブバイアスが重要なタスク（動詞の一致、破損したMNIST（MNIST-C））において、教師モデル（LSTM、CNN）と学生モデル（Transformer、MLP）を訓練する。
• 教師の出力（ログティス）を用いたソフトラベルを用いて知識蒸留を実行し、知識転送を向上させるために温度スケーリングを適用する。
• 訓練および収束段階における中間層（ペンダント層）の活性化の表現類似度を分析し、解法経路と最終的表現を比較する。
• 表現類似度の2次元投影を用いて訓練軌道を可視化し、最適化過程でのモデルの進化を比較する。
• 複数の評価指標（正確度、期待キャリブレーション誤差（ECE）、ランダムシードごとの分散）を用いて、頑健性および一般化性能を評価する。
• 自己蒸留と異種アーキテクチャ間蒸留を含む、さまざまな教師-学生ペアにおける蒸留結果を比較し、インダクティブバイアス転送の影響を隔離する。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、異なるアーキテクチャを持つ学生モデルへ、教師モデルのインダクティブバイアスを転送できるか？
• RQ2 蒸留は性能向上に加え、学生の学習済み表現および学習ダイナミクスを教師のそれと一致させるか？
• RQ3 強いインダクティブバイアス（例：CNN）から蒸留することで、弱いインダクティブバイアス（例：MLP）を持つ学生の分布外データにおける一般化性能がどの程度向上するか？
• RQ4 表現的進化の観点から、蒸留済みモデルの訓練経路は、独立して訓練されたモデルと比べてどのように異なるか？
• RQ5 学生が教師の訓練プロセスに直接アクセスできない状況下でも、教師のインダクティブバイアスが、学生が収束する解法空間に影響を与えるか？

主な発見

• CNNからMLPへの蒸留は、翻訳済みMNISTおよびスケーリング済みMNISTベンチマークにおける一般化性能を顕著に向上させ、翻訳済みMNISTでは誤差を0.555から0.510に、スケーリング済みMNISTでは0.432から0.373に低下させた。
• MLPとCNNのスケーリング済みMNISTテストセットにおける性能差は、CNNからMLPへの蒸留によってほぼ解消され、KDなしの0.033と比較して0.013にまで縮小された。
• 表現類似度分析の結果、CNNから蒸留されたMLPは、独立して訓練されたMLPよりもCNNに類似した表現を学習しており、インダクティブバイアスの定性的な転送が示された。
• 蒸留済みMLPの訓練経路は、中間状態の情報が一切ないにもかかわらず、独立して訓練されたMLPよりもCNNの教師に類似した経路をたどっていることが示された。
• 自己蒸留はわずかな向上しかもたらさないが、CNNからMLPへの蒸留は顕著な性能向上と低い分散をもたらし、アーキテクチャ的インダクティブバイアスが転送に果たす役割が強調された。
• LSTMからTransformerへの蒸留は、動詞の一致タスクにおける後者の性能を向上させるとともに、その解法をLSTMのものに近づけ、再帰的インダクティブバイアスの転送が確認された。