[论文解读] Knowledge Distillation Thrives on Data Augmentation.

Huan Wang, Suhas Lohit+2 more|arXiv (Cornell University)|Dec 5, 2020

Advanced Neural Network Applications参考文献 39被引用 10

一句话总结

本文表明，知识蒸馏（KD）在数据增强（DA）的加持下受益显著，原因在于KD损失能够利用同一输入的多个增强视图，而交叉熵损失则无法有效利用。通过应用更强的数据增强技术——如mixup、CutMix，以及一种新颖的基于主动学习的KD专用数据增强方法——性能得到显著提升，甚至超越了采用更复杂蒸馏损失的最先进方法。

ABSTRACT

Knowledge distillation (KD) is a general deep neural network training framework that uses a teacher model to guide a student model. Many works have explored the rationale for its success, however, its interplay with data augmentation (DA) has not been well recognized so far. In this paper, we are motivated by an interesting observation in classification: KD loss can benefit from extended training iterations while the cross-entropy loss does not. We show this disparity arises because of data augmentation: KD loss can tap into the extra information from different input views brought by DA. By this explanation, we propose to enhance KD via a stronger data augmentation scheme (e.g., mixup, CutMix). Furthermore, an even stronger new DA approach is developed specifically for KD based on the idea of active learning. The findings and merits of the proposed method are validated by extensive experiments on CIFAR-100, Tiny ImageNet, and ImageNet datasets. We can achieve improved performance simply by using the original KD loss combined with stronger augmentation schemes, compared to existing state-of-the-art methods, which employ more advanced distillation losses. In addition, when our approaches are combined with more advanced distillation losses, we can advance the state-of-the-art performance even more. On top of the encouraging performance, this paper also sheds some light on explaining the success of knowledge distillation. The discovered interplay between KD and DA may inspire more advanced KD algorithms.

研究动机与目标

• 探究为何知识蒸馏（KD）损失在训练迭代次数增加时表现更优，而交叉熵损失则不然。
• 理解KD与数据增强（DA）之间潜在的作用机制，特别是DA如何提升KD的性能。
• 提出一种专为KD设计的更强数据增强策略，以提升学生模型的性能。
• 验证将标准KD损失与先进数据增强结合，可超越使用更复杂蒸馏损失的最先进方法。
• 通过揭示KD与数据增强之间的协同关系，为KD的成功提供新见解。

提出的方法

• 作者指出，KD损失受益于数据增强，是因为其能够利用同一输入的多个增强视图，从而提取更丰富的监督信号。
• 他们通过应用更强的数据增强技术（如mixup和CutMix）来增强KD，这些技术可生成多样化的输入变换。
• 提出一种基于主动学习原理的新型数据增强方法，专为提升KD性能而设计，聚焦于选择信息量丰富的增强方式。
• 该方法利用教师模型的置信度，指导选择能最大化知识迁移至学生的增强方式。
• 该方法在保持原始KD损失的同时，通过增强数据多样性显著提升泛化性能。
• 在CIFAR-100、Tiny ImageNet和ImageNet上开展实验，验证了在多个基准上的性能提升。

实验结果

研究问题

• RQ1 为何知识蒸馏损失在训练时间延长时表现更优，而交叉熵损失却无此现象，尽管两者均在相同数据上进行训练？
• RQ2 数据增强如何与知识蒸馏协同作用以提升模型性能？
• RQ3 仅通过更强的数据增强方案，是否可提升KD性能而不修改蒸馏损失？
• RQ4 专为KD设计的数据增强策略是否可超越标准增强技术？
• RQ5 将所提出的DA方法与现有先进蒸馏损失结合，是否能进一步提升最先进性能？

主要发现

• 知识蒸馏损失受益于更长的训练时间，是因为其能够利用输入的多个增强视图，而交叉熵损失无法有效利用这些信息。
• 将mixup和CutMix等更强的数据增强技术应用于标准KD损失，可在CIFAR-100、Tiny ImageNet和ImageNet上实现性能提升。
• 所提出的基于主动学习的KD专用数据增强方法，通过聚焦于信息量丰富的增强方式，进一步提升了性能。
• 将标准KD损失与更强的数据增强结合，可超越使用更复杂蒸馏损失的最先进方法。
• 当与先进蒸馏损失结合时，所提出的增强技术进一步带来显著性能提升，推动了当前技术水平的进展。
• 研究结果揭示了知识蒸馏与数据增强之间此前被低估的协同效应，解释了KD成功的一部分原因。