[论文解读] Interactive Knowledge Distillation

Shipeng Fu, Zhen Li+4 more|arXiv (Cornell University)|Jul 3, 2020

Advanced Neural Network Applications参考文献 38被引用 7

一句话总结

本文提出了一种新型知识蒸馏方法——交互式知识蒸馏（IAKD），通过在训练过程中随机将预训练教师网络的模块与学生网络进行互换，从而提升学生网络的性能。与依赖蒸馏损失来模仿教师特征的传统方法不同，IAKD直接将教师网络强大的特征变换能力注入学生网络，实现了SOTA精度提升，同时训练时间更短，且无需额外超参数。

ABSTRACT

Knowledge distillation is a standard teacher-student learning framework to train a light-weight student network under the guidance of a well-trained large teacher network. As an effective teaching strategy, interactive teaching has been widely employed at school to motivate students, in which teachers not only provide knowledge but also give constructive feedback to students upon their responses, to improve their learning performance. In this work, we propose an InterActive Knowledge Distillation (IAKD) scheme to leverage the interactive teaching strategy for efficient knowledge distillation. In the distillation process, the interaction between teacher and student networks is implemented by a swapping-in operation: randomly replacing the blocks in the student network with the corresponding blocks in the teacher network. In the way, we directly involve the teacher's powerful feature transformation ability to largely boost the student's performance. Experiments with typical settings of teacher-student networks demonstrate that the student networks trained by our IAKD achieve better performance than those trained by conventional knowledge distillation methods on diverse image classification datasets.

研究动机与目标

• 为解决非交互式知识蒸馏的局限性，即由于学生网络特征变换能力不足，导致无法充分利用教师知识的问题。
• 通过在蒸馏过程中实现教师与学生网络之间的动态双向交互，提升学生网络性能。
• 通过直接注入教师网络的特征变换能力，消除对额外蒸馏损失和超参数调优的需求。
• 通过避免教师网络中冗余的特征提取与知识转换过程，实现高效的训练。
• 在多种网络架构和数据集上验证所提方法的泛化性与鲁棒性。

提出的方法

• IAKD在训练过程中对教师与学生网络进行随机模块互换，每轮迭代中用对应教师模块替换学生模块。
• 被替换进来的教师模块用于处理前一学生模块的输出，生成增强的特征图，从而引导学生网络后续层的学习。
• 提出三种概率调度策略，以控制模块互换的频率与时机，优化教师与学生之间的交互动态。
• 该方法无需额外蒸馏损失，因为交互本身通过直接特征注入驱动知识迁移。
• 该方法与现有知识蒸馏方法兼容，可与之结合使用，例如在IAKD-R+HKD中进一步提升性能。
• 通过避免对教师网络进行完整前向传播，并移除复杂的知识转换模块，实现训练加速。

实验结果

研究问题

• RQ1 通过模块互换实现教师与学生网络之间的直接交互，是否能将学生网络性能提升至超越传统知识蒸馏的水平？
• RQ2 若消除蒸馏损失与超参数调优，是否能提升训练效率与性能稳定性？
• RQ3 当学生网络特征变换能力有限时，该交互机制如何影响知识迁移效果？
• RQ4 IAKD能否在多种教师-学生架构组合与数据集上实现泛化？
• RQ5 何种模块互换调度策略能最大化性能增益？

主要发现

• 在CIFAR-100上，IAKD-R使用轻量级ResNet-26学生网络，Top-1准确率达到70.94%，优于学生基线的68.84%，并超越所有对比的对比方法。
• 在TinyImageNet上，IAKD-R使用ResNet-50x4教师网络，Top-1准确率达到72.79%，优于学生基线的67.11%，并超越所有其他蒸馏方法。
• 在TinyImageNet上使用ResNet-80/ResNet-26组合时，IAKD-R将训练时间缩短至4小时40分钟，快于所有对比方法，包括HKD（6小时47分钟）和AT（11小时29分钟）。
• 在CIFAR-100上测试的所有架构组合中，IAKD-R与IAKD-R+HKD始终提升学生性能，而对比方法如RKD-DA与AB在多个设置中失败。
• IAKD-R与HKD结合（即IAKD-R+HKD）在4种设置中的3种中表现最佳，VGG-11上Top-1准确率达到71.76%，在一种情况下甚至超过教师网络的72.74%。
• 该方法在多种设置中表现出鲁棒性，涵盖ResNet、VGG与ShuffleNet架构，证实了其强大的泛化能力。