[论文解读] Knowledge Squeezed Adversarial Network Compression

Changyong Shu, Peng Li+4 more|arXiv (Cornell University)|Apr 10, 2019

Advanced Neural Network Applications参考文献 46被引用 13

一句话总结

该论文提出了一种新型知识蒸馏方法——知识压缩对抗性网络压缩（KSANC），通过引入基于任务驱动注意力机制的中间监督，将大型教师网络的知识压缩并传输至小型学生网络，从而提升学生网络性能。通过同时对抗性匹配输出分布和中间特征表示，KSANC在CIFAR-10、CIFAR-100和ImageNet上均实现了最先进的准确率，且在极端模型压缩条件下误差率显著降低。

ABSTRACT

Deep network compression has been achieved notable progress via knowledge distillation, where a teacher-student learning manner is adopted by using predetermined loss. Recently, more focuses have been transferred to employ the adversarial training to minimize the discrepancy between distributions of output from two networks. However, they always emphasize on result-oriented learning while neglecting the scheme of process-oriented learning, leading to the loss of rich information contained in the whole network pipeline. Inspired by the assumption that, the small network can not perfectly mimic a large one due to the huge gap of network scale, we propose a knowledge transfer method, involving effective intermediate supervision, under the adversarial training framework to learn the student network. To achieve powerful but highly compact intermediate information representation, the squeezed knowledge is realized by task-driven attention mechanism. Then, the transferred knowledge from teacher network could accommodate the size of student network. As a result, the proposed method integrates merits from both process-oriented and result-oriented learning. Extensive experimental results on three typical benchmark datasets, i.e., CIFAR-10, CIFAR-100, and ImageNet, demonstrate that our method achieves highly superior performances against other state-of-the-art methods.

研究动机与目标

• 为解决现有知识蒸馏方法仅关注结果导向学习的局限性，通过引入过程导向的中间监督来改进。
• 通过有效的知识压缩，缩小大型教师网络与小型学生网络之间的表征差距。
• 通过任务驱动注意力机制，将丰富的中间表征从教师网络迁移至学生网络，实现紧凑且高性能的学生网络。
• 通过在输出和中间特征上引入对抗性正则化，提升训练稳定性和泛化能力。
• 在标准基准上实现卓越的压缩性能，同时保持极小的准确率下降。

提出的方法

• 提出一种双对抗性训练框架，同时匹配教师网络与学生网络之间的输出分布和中间特征表示。
• 采用任务驱动注意力机制，选择性地从教师网络的深层压缩并传输知识至学生网络。
• 将高维中间特征压缩为紧凑且与任务相关的表征，使其与较小学生网络的容量相匹配。
• 引入类别正则化器和判别器正则化器，以稳定对抗性训练并改善特征对齐。
• 通过中间监督指导学生网络训练，确保知识不仅在最终层，而且在整个网络流水线中被有效传输。
• 在多个层级应用对抗性损失，以最小化学生与教师特征之间的分布差异，从而增强泛化能力。

实验结果

研究问题

• RQ1 中间监督是否能在压缩网络中超越仅基于结果匹配的知识蒸馏性能？
• RQ2 任务驱动注意力机制在从深层教师网络向紧凑学生网络压缩和传输知识方面效果如何？
• RQ3 通过对抗性训练结合过程导向与结果导向学习，是否能带来更好的泛化性能和更低的准确率下降？
• RQ4 通过注意力机制实现的知识压缩是否能稳定小网络蒸馏的训练并提升收敛性？
• RQ5 所提出方法在标准基准上与最先进的基于GAN的知识蒸馏和知识蒸馏方法相比表现如何？

主要发现

• 在CIFAR-100上使用ResNet-20学生网络时，KSANC的top-1错误率为31.42%，优于第二名方法TSCAN的32.57%（领先1.15%）。
• 在ImageNet上使用ResNet-18学生网络时，KSANC的top-1错误率为31.47%，显著优于TSCAN（32.72%）和ANC（32.89%），且在相同模型尺寸下表现更优。
• 使用ResNet-50学生网络时，KSANC在ImageNet上的top-1错误率为26.79%，优于第二名方法TSCAN（27.39%），甚至优于教师网络ResNet-152（27.63%）。
• KSANC通过有效传输中间知识，显著缩小了学生与教师网络之间的准确率差距，尤其在学生网络远小于教师网络时效果更明显。
• 消融实验证实，通过知识压缩实现的中间监督可提升收敛稳定性与泛化能力，尤其在低参数量场景下表现突出。
• 该方法在多个数据集和模型尺寸下均表现出一致的优越性，充分证明了对抗性训练与任务驱动知识压缩相结合的有效性。