[論文レビュー] Zero-shot Knowledge Transfer via Adversarial Belief Matching

Paul Micaelli, Amos Storkey|arXiv (Cornell University)|May 23, 2019

Adversarial Robustness in Machine Learning参考文献 43被引用数 33

ひとこと要約

本論文は、データを用いずに教師を模倣する学生をトレーニングする。敵対的生成器を用いて教師と学生の間の乖離を最大化する疑似入力を作成し、ゼロショット蒸留を可能にする。特にCIFAR-10およびSVHNで効果を発揮する。

ABSTRACT

Performing knowledge transfer from a large teacher network to a smaller student is a popular task in modern deep learning applications. However, due to growing dataset sizes and stricter privacy regulations, it is increasingly common not to have access to the data that was used to train the teacher. We propose a novel method which trains a student to match the predictions of its teacher without using any data or metadata. We achieve this by training an adversarial generator to search for images on which the student poorly matches the teacher, and then using them to train the student. Our resulting student closely approximates its teacher for simple datasets like SVHN, and on CIFAR10 we improve on the state-of-the-art for few-shot distillation (with 100 images per class), despite using no data. Finally, we also propose a metric to quantify the degree of belief matching between teacher and student in the vicinity of decision boundaries, and observe a significantly higher match between our zero-shot student and the teacher, than between a student distilled with real data and the teacher. Code available at: https://github.com/polo5/ZeroShotKnowledgeTransfer

研究の動機と目的

• 大規模な教師から小さな学生へ、トレーニングデータにアクセスできない状態で知識移転を動機づけ、実現する。
• 教師と学生が最も意見が異なる入力を特定する敵対的なデータ生成プロセスを開発する。
• 標準的なビジョンベンチマーク（SVHN、CIFAR-10）でゼロショット蒸留を実証し、データ依存のベースラインと比較する。
• 決定境界付近での教師と学生の整合性を定量化する信念マッチング指標を導入する。

提案手法

• 事前学習済みの教師T(x)と学生S(x;θ)を定義し、ノイズz~N(0,I)から疑似入力x_pを生成する生成器G(z;φ)を用いる。
• 疑似データ上で学生を訓練する主損失として、順方向KL発散D_KL(T(x_p) || S(x_p))を用いる。
• 教師と学生が乖離する入力を見つけるよう、D_KL(T(x_p) || S(x_p))を最大化するようGを更新する。
• 固定されたx_p上で、Gを(n_G)ステップ訓練し、次にSを(n_S)ステップ訓練して教師と整合させる。
• オプションとして、特徴の整合を促すため、活性化ブロック全体にわたる注意機構ベースの正則化項（β項）を含める。
• 学習出力の高エントロピー性に依存し、生成器に簡単に騙されないようにし、多様で有益な疑似サンプルを促進する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルな学生が実際のトレーニングデータやメタデータに一切アクセスせずに教師と一致するよう学習できるのか。
• RQ2 敵対的に生成された疑似データは、標準データセットで効果的なゼロショット蒸留を可能にするのか。
• RQ3 決定境界付近でゼロショット学生が教師にどれだけ近づくか、そしてこれをどのように定量化できるか。
• RQ4 付加損失（例：注意ベースの整合）を用いた場合のゼロショット知識移転への影響は何か。

主な発見

• ゼロショット手法は、実データを使用せずに学生が教師に近似することを可能にし、CIFAR-10およびSVHNで競争力のある結果を達成する。
• CIFAR-10では、提案された損失を用いたゼロショット蒸留が83.69%のテスト精度を達成し、従来の少数ショット法を上回り、各クラス100枚の画像でファインチューニングすると85.91%に達する。
• 提案された損失と注意項を用いると、基礎のKL損失だけを用いる場合より、複数の教師–学生ペアで性能が向上する。
• 本手法はハイパーパラメータの変動やデータセットのシフトに対して頑健であり、ゼロショット設定ではハイパーパラメータ調整の検証データを必要としない。
• ゼロショット競合と比較して、類似または小さいモデル数でCIFAR-10において顕著な精度優位を示す。
• 決定境界付近の遷移曲線に基づく指標は、ゼロショット学生が実データで蒸留した学生より教師の信念をより忠実に反映していることを示す。