[论文解读] Graph-based Knowledge Distillation by Multi-head Attention Network

Seunghyun Lee, Byung Cheol Song|arXiv (Cornell University)|Jul 4, 2019

Advanced Neural Network Applications参考文献 31被引用 39

一句话总结

本文提出 MHGD——一个基于图的知识蒸馏框架，使用多头注意力从教师网络向学生网络蒸馏数据集嵌入知识，在 CIFAR100 和 TinyImageNet 上提升性能。

ABSTRACT

Knowledge distillation (KD) is a technique to derive optimal performance from a small student network (SN) by distilling knowledge of a large teacher network (TN) and transferring the distilled knowledge to the small SN. Since a role of convolutional neural network (CNN) in KD is to embed a dataset so as to perform a given task well, it is very important to acquire knowledge that considers intra-data relations. Conventional KD methods have concentrated on distilling knowledge in data units. To our knowledge, any KD methods for distilling information in dataset units have not yet been proposed. Therefore, this paper proposes a novel method that enables distillation of dataset-based knowledge from the TN using an attention network. The knowledge of the embedding procedure of the TN is distilled to graph by multi-head attention (MHA), and multi-task learning is performed to give relational inductive bias to the SN. The MHA can provide clear information about the source dataset, which can greatly improves the performance of the SN. Experimental results show that the proposed method is 7.05% higher than the SN alone for CIFAR100, which is 2.46% higher than the state-of-the-art.

研究动机与目标

• 动机：需要不仅蒸馏特征向量，还要蒸馏数据内部关系的知识，以改进 CNNs 的数据集嵌入。
• 提出一种基于图的蒸馏方法，使用多头注意力来捕捉数据集嵌入过程。
• 通过多任务学习设置中的迁移任务，使学生网络获得关系性归纳偏置。

提出的方法

• 通过 KD-SVD 将来自两个感测点的特征图压缩成特征向量。
• 使用多头注意力网络 (MHAN) 计算前端和后端特征向量之间的关系。
• 通过训练多个注意力头以产生图结构的关系来蒸馏嵌入知识。
• 通过带有迁移损失的多任务学习，将蒸馏的基于图的知识转移给学生。
• 使用平滑的注意力图以及教师与学生图之间的 KL 散度来引导学习。

实验结果

研究问题

• RQ1 由多头注意力捕获的基于图的嵌入知识是否能将 KD 提升到超越传统基于特征向量的方法？
• RQ2 注意力头的数量如何影响蒸馏知识的质量和 SN 的性能？
• RQ3 基于图的知识转移在多任务学习中的效果是否优于基于初始化或单任务 KD 方法？

主要发现

• 相较于仅使用 SN，MHGD 在 CIFAR100 上的性能提高约 7%，在 TinyImageNet 上约 4%。
• MHGD 超越 KD-SVD 和最先进方法，在若干设置中（如 VGG 和 WResNet 主干）。
• 通常增加注意力头数量会提升性能，直到达到某点后收益可能达到饱和或因过于复杂而下降。
• 与某些基于初始化的 KD 方法不同，基于图的知识转移的多任务学习在训练过程中保持性能提升。
• 该方法在架构上具有通用性，在 VGG、MobileNet 和 ResNet 主干上提升了 SN 的性能。