[論文レビュー] Improving Knowledge Distillation with Supporting Adversarial Samples

Byeongho Heo, Minsik Lee+2 more|arXiv (Cornell University)|May 15, 2018

Adversarial Robustness in Machine Learning参考文献 15被引用数 7

ひとこと要約

本論文は、教員モデルの意思決定境界を支援する adversarial samples を活用することで、学生ネットワークの性能を向上させる、新しい知識蒸留手法を提案する。境界を支援する adversarial examples で学生を訓練することにより、一般化性能が向上し、画像分類ベンチマークで最先端の結果を達成する。

ABSTRACT

Many recent works on knowledge distillation have provided ways to transfer the knowledge of a trained network for improving the learning process of a new one, but finding a good technique for knowledge distillation is still an open problem. In this paper, we provide a new perspective based on a decision boundary, which is one of the most important component of a classifier. The generalization performance of a classifier is closely related to the adequacy of its decision boundary, so a good classifier bears a good decision boundary. Therefore, transferring information closely related to the decision boundary can be a good attempt for knowledge distillation. To realize this goal, we utilize an adversarial attack to discover samples supporting a decision boundary. Based on this idea, to transfer more accurate information about the decision boundary, the proposed algorithm trains a student classifier based on the adversarial samples supporting the decision boundary. Experiments show that the proposed method indeed improves knowledge distillation and achieves the state-of-the-arts performance.

研究の動機と目的

• 一般化にとって重要な要因である意思決定境界に関連する情報を焦点化することで、知識蒸留を改善すること。
• 既存の蒸留手法が意思決定境界の質や構造を明示的に考慮しないという限界に対処すること。
• 意思決定境界を支援する adversarial samples を特定・利用することで、知識をより効果的に転送する手法を開発すること。
• 境界に配慮した蒸留が、下流タスクにおける優れた一般化と性能をもたらすことを実証すること。

提案手法

• 本手法は、adversarial attacks を用いて教員モデルの意思決定境界に近い adversarial samples を特定する。
• これらの adversarial samples は、意思決定境界の支援または定義に果たす役割に基づき選択され、モデルのロバスト性が向上する。
• 学生ネットワークは、クリーンデータに加えて、これらの境界を支援する adversarial samples でも訓練されることで、意思決定境界の学習が向上する。
• アプローチは adversarial examples を蒸留損失に統合し、学生が教員モデルの意思決定境界の幾何的構造を学ぶことを保証する。
• 訓練目的は、標準的な交差エントロピー損失と知識蒸留損失の組み合わせであり、ソフトラベルは教員モデルが adversarial samples に対して出力する予測から得られる。

実験結果

リサーチクエスチョン

• RQ1 意思決定境界を支援する adversarial samples は、知識蒸留の性能を向上させることができるか？
• RQ2 境界を支援する adversarial examples を組み込むと、学生モデルの一般化性能にどのような影響を与えるか？
• RQ3 この手法は、画像分類タスクにおいて、標準的な知識蒸留や他の最先端の手法を上回る性能を発揮するか？
• RQ4 意思決定境界の質が、知識蒸留の成功に果たす貢献は何か？

主な発見

• 提案手法は、標準的な画像分類ベンチマークで最先端の性能を達成し、既存の蒸留技術を上回る。
• 意思決定境界を支援する adversarial samples で訓練することで、よりロバストで一般化可能な学生モデルが得られる。
• 本手法は、クラス確率だけでなく、意思決定境界の構造に関する知識を明示的に転送することで、一般化性能を向上させる。
• 実験により、境界を支援する adversarial samples の組み込みが、学生ネットワークの精度とロバスト性を顕著に向上させることを確認した。