[论文解读] KTAN: Knowledge Transfer Adversarial Network

Peiye Liu, Wu Liu+3 more|arXiv (Cornell University)|Oct 18, 2018

Advanced Neural Network Applications参考文献 21被引用 15

一句话总结

KTAN 提出了一种知识迁移对抗网络，通过从教师网络向学生网络迁移中间特征图和概率分布，提升了学生网络的性能。通过对抗性训练保留特征图中的空间相关性，并引入教师到学生层以实现结构兼容性，KTAN 在图像分类和目标检测基准上取得了最先进（SOTA）的结果，优于现有的知识蒸馏方法。

ABSTRACT

To reduce the large computation and storage cost of a deep convolutional neural network, the knowledge distillation based methods have pioneered to transfer the generalization ability of a large (teacher) deep network to a light-weight (student) network. However, these methods mostly focus on transferring the probability distribution of the softmax layer in a teacher network and thus neglect the intermediate representations. In this paper, we propose a knowledge transfer adversarial network to better train a student network. Our technique holistically considers both intermediate representations and probability distributions of a teacher network. To transfer the knowledge of intermediate representations, we set high-level teacher feature maps as a target, toward which the student feature maps are trained. Specifically, we arrange a Teacher-to-Student layer for enabling our framework suitable for various student structures. The intermediate representation helps the student network better understand the transferred generalization as compared to the probability distribution only. Furthermore, we infuse an adversarial learning process by employing a discriminator network, which can fully exploit the spatial correlation of feature maps in training a student network. The experimental results demonstrate that the proposed method can significantly improve the performance of a student network on both image classification and object detection tasks.

研究动机与目标

• 为解决知识蒸馏方法仅关注 softmax 概率分布、忽略中间特征表示的局限性。
• 通过保留特征图中的空间相关性来改进知识迁移，这些相关性对视觉任务至关重要，但在直接特征匹配中常被忽略。
• 设计一种可泛化的框架，适用于多种学生网络架构，包括无 softmax 层的网络。
• 通过结合特征图迁移与对抗性学习，建模复杂的空间结构，提升学生网络的泛化能力。

提出的方法

• 该框架从教师网络的最后一个卷积层提取高层特征图作为共享知识。
• 引入教师到学生层，对齐教师与学生网络之间的特征图维度，实现跨多种架构的兼容性。
• 采用基于生成对抗网络（GAN）的训练过程，判别器用于区分真实的教师特征图与生成的学生特征图。
• 学生网络通过双重目标进行训练：最小化均方误差（MSE）损失以匹配教师特征，同时最大化对抗损失以欺骗判别器。
• 整个学生网络通过真实标签进行端到端联合优化，确保主任务性能的全面提升。
• 该方法被应用于分类和目标检测任务，证明了其广泛适用性。

实验结果

研究问题

• RQ1 对抗性训练能否有效将教师网络特征图中的空间相关性信息迁移至学生网络？
• RQ2 与仅迁移 softmax 概率分布相比，迁移中间表示在提升学生网络泛化能力方面表现如何？
• RQ3 能否设计一个统一框架，支持包括无 softmax 层在内的多种学生网络架构？
• RQ4 结合 MSE 损失与对抗损失，在特征图对齐方面是否显著优于直接特征匹配？
• RQ5 所提出方法在图像分类和目标检测等不同计算机视觉任务中是否具备良好的泛化能力？

主要发现

• 在 PASCAL VOC 2007 目标检测基准上，KTAN 达到了 72.78% 的平均精度均值（mAP），超过所有对比方法，包括 KD（70.92%）、FitNet（71.41%）和 DLN（71.54%）。
• 通过 KTAN 增强的知识蒸馏（KTAN+KD）使 mAP 达到 72.91%，证明了多种知识迁移策略结合的有效性。
• KTAN 模型显著提升了检测性能，如图 2 所示，黄色边界框表示相比原始学生网络新增的正确检测，红色框则显示误报减少。
• 该框架成功地将 ResNet-152 教师网络的高层特征表示迁移至 ResNet-50 学生网络，使学生网络能够学习到空间一致且语义丰富的特征。
• 消融实验证实，对抗性训练能有效捕捉特征图中的空间相关性，其泛化性能优于直接特征匹配。
• KTAN 在图像分类和目标检测任务上均取得了最先进性能，证明了其在视觉任务中的广泛泛化能力。