[論文レビュー] Variational Information Distillation for Knowledge Transfer

Sung Soo Ahn, Shell Xu Hu+3 more|arXiv (Cornell University)|Apr 11, 2019

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 35

ひとこと要約

本論文は Variational Information Distillation (VID) を提案する。情報理論的枠組みで、変分下界を用いて教師ネットワークと学生ネットワーク間の相互情報を最大化し、同一・異なるアーキテクチャ間で卓越した知識伝達を実現する。

ABSTRACT

Transferring knowledge from a teacher neural network pretrained on the same or a similar task to a student neural network can significantly improve the performance of the student neural network. Existing knowledge transfer approaches match the activations or the corresponding hand-crafted features of the teacher and the student networks. We propose an information-theoretic framework for knowledge transfer which formulates knowledge transfer as maximizing the mutual information between the teacher and the student networks. We compare our method with existing knowledge transfer methods on both knowledge distillation and transfer learning tasks and show that our method consistently outperforms existing methods. We further demonstrate the strength of our method on knowledge transfer across heterogeneous network architectures by transferring knowledge from a convolutional neural network (CNN) to a multi-layer perceptron (MLP) on CIFAR-10. The resulting MLP significantly outperforms the-state-of-the-art methods and it achieves similar performance to the CNN with a single convolutional layer.

研究の動機と目的

• データが制限されている場合や教師と学生のデータセットが異なる場合に知識移転を動機づける。
• 教師と学生の表現間の相互情報を最大化することとして知識移転を定式化する。
• 相互情報を計算可能で訓練に活用しやすくするための変分目的を提供する。
• VIDが既存の蒸留法を一般化し、アーキテクチャやタスク間で性能を向上させることを示す。

提案手法

• 教師と学生の層活性化間の相互情報を定義し、q(t|s) を用いた変分下界を定式化する。
• L = L_S - sum_k lambda_k E_{t^(k),s^(k)}[log q(t^(k)|s^(k))] のように、タスク損失と変分相互情報項の負符号を組み合わせた損失を最小化する。
• q(t|s) を平均 mu(s) と分散 sigma^2 を持つガウスとしてパラメータ化する。mu は学習され（しばしば線形または畳み込み）、sigma は正であるように制約する。
• 中間層 (VID-I) またはロジット-ペナルティ前 (VID-LP) の層ペアを知識伝達として扱い、適用可能な場合には空間的に構造化された t を用いる。
• 既存の手法（KD、FitNet、AT、NST、LwF など）が、R および mu(s の特定の選択の下で特殊ケースとして現れることを示す。
• 知識蒸留および転移学習タスクにおける最新手法と VID を比較し、CIFAR-10 におけるCNN-to-MLP の異種アーキテクチャ転移を含む。

実験結果

リサーチクエスチョン

• RQ1 教師と学生の表現間の相互情報を最大化することが、既存の手法より知識移転を改善することができるのだろうか？
• RQ2 VID は異種アーキテクチャ間（例：CNN から MLP）およびタスク/データセット間で知識を転送できるのか。
• RQ3 定式化と性能の観点から、VID は以前の蒸留法（KD、FitNet、AT、NST、LwF）とどのように関連し、一般化するのか。

主な発見

M	Teacher	Student	KD	FitNet	AT	NST	VID-I	KD + AT	KD + VID-I
5000	94.26	90.72	91.27	90.64	91.60	91.16	91.85	91.81	91.70
1000	-	84.67	86.11	84.78	87.26	86.55	89.73	87.34	88.59
500	-	79.63	82.23	80.73	84.94	82.61	88.09	85.01	86.53
100	-	58.84	64.24	68.90	73.40	64.53	81.59	76.29	78.48

• VID は蒸留および転移学習設定全般で KD、FitNet、AT、NST、LwF を上回り、データが不足する状況でより大きな改善を示す。
• VID-I（中間層マッチング）は、データ利用可能性の変化に関係なく CIFAR-10/100 で基準手法より一貫して高精度を達成する。
• VID-LP（ロジット-ペナルティマッチング）と VID-I は、転移学習を含む包括的に高い性能を示す。
• 異種知識移転は有効で、CNN 教師が CIFAR-10 で MLP 学生を大幅に改善し、CNN-MLP の性能ギャップの多くを埋める。
• この枠組みは、いくつかの既存手法を特殊ケースとして包含しており、知識移転の統一的かつ原理的な基盤を強調している。