[论文解读] Feature-map-level Online Adversarial Knowledge Distillation

Inseop Chung, Seonguk Park+2 more|arXiv (Cornell University)|Feb 5, 2020

Adversarial Robustness in Machine Learning参考文献 21被引用 77

一句话总结

本文提出了在线知识蒸馏，通过对抗训练同时转移类别概率知识和特征图分布，并采用循环方案来训练多网络，特别是在小型与大型网络对之间取得了改进。

ABSTRACT

Feature maps contain rich information about image intensity and spatial correlation. However, previous online knowledge distillation methods only utilize the class probabilities. Thus in this paper, we propose an online knowledge distillation method that transfers not only the knowledge of the class probabilities but also that of the feature map using the adversarial training framework. We train multiple networks simultaneously by employing discriminators to distinguish the feature map distributions of different networks. Each network has its corresponding discriminator which discriminates the feature map from its own as fake while classifying that of the other network as real. By training a network to fool the corresponding discriminator, it can learn the other network's feature map distribution. We show that our method performs better than the conventional direct alignment method such as L1 and is more suitable for online distillation. Also, we propose a novel cyclic learning scheme for training more than two networks together. We have applied our method to various network architectures on the classification task and discovered a significant improvement of performance especially in the case of training a pair of a small network and a large one.

研究动机与目标

• 通过利用中间特征图超越 logits 来提升在线知识蒸馏的动机。
• 提出在共同训练的网络之间通过对抗方式蒸馏特征图分布。
• 开发一种循环学习方案，以在在线环境中高效地训练多于两个网络。
• 展示在不同体系结构和尺度上的有效性（包括跨体系结构和 ImageNet）。

提出的方法

• 蒸馏对数值级知识（CE + 基于 KL 的互蒸馏）和特征图级知识（对抗蒸馏）。
• 在每个网络上附加一个判别器，以区分其自身的特征图分布与同侪网络的分布。
• 训练每个网络去愚弄其对应的判别器，从而对齐特征图分布。
• 在网络结构不同的情况下，使用迁移层来处理特征图通道不匹配的问题。
• 引入循环学习框架，将在线蒸馏扩展到多于两个网络，使用更少的判别器和计算量，外加一个顺序蒸馏流程 1→2→…→K→1。

实验结果

研究问题

• RQ1 在线蒸馏是否可以通过除了 logits 之外还转移特征图分布来获得收益？
• RQ2 在在线设置中，对抗性特征图蒸馏是否优于直接的特征图对齐损失（L1/L2）？
• RQ3 循环学习方案是否能有效将在线蒸馏扩展到多于两个网络？
• RQ4 所提出的方法是否在同架构和跨-架构的网络对之间具有普遍性，并且能扩展到 ImageNet？

主要发现

• 对抗性特征图蒸馏（AFD）在在线和离线设置中均优于直接的特征图对齐方法（L1/L1+KD）。
• AFD 在配对小型与大型网络，以及同架构和跨架构的配对中均带来提升。
• 实验结果在 CIFAR-100 的多种架构上，以及在以 DML 作为基线的 ImageNet 上也显示了显著提升。
• 循环学习框架使得在线训练三个或更多网络成为可能，且具有竞争力或更优的性能。
• 消融研究证实，对数级互蒸馏和对抗性特征图蒸馏两者均对性能提升有贡献。