[论文解读] Few Shot Network Compression via Cross Distillation

Haoli Bai, Jiaxiang Wu+2 more|arXiv (Cornell University)|Nov 21, 2019

Advanced Neural Network Applications参考文献 40被引用 17

一句话总结

本文提出了一种名为交叉蒸馏（cross distillation）的新颖知识蒸馏框架，通过联合执行误差校正（教师网络指导学生网络）和误差模仿（学生网络指导教师网络），有效降低了少样本神经网络压缩中的逐层估计误差。通过凸组合这两种双重监督信号，该方法在每类仅使用少量训练样本的情况下，显著提升了学生网络的准确率，在CIFAR-10和ImageNet数据集上优于现有基线方法。

ABSTRACT

Model compression has been widely adopted to obtain light-weighted deep neural networks. Most prevalent methods, however, require fine-tuning with sufficient training data to ensure accuracy, which could be challenged by privacy and security issues. As a compromise between privacy and performance, in this paper we investigate few shot network compression: given few samples per class, how can we effectively compress the network with negligible performance drop? The core challenge of few shot network compression lies in high estimation errors from the original network during inference, since the compressed network can easily over-fits on the few training instances. The estimation errors could propagate and accumulate layer-wisely and finally deteriorate the network output. To address the problem, we propose cross distillation, a novel layer-wise knowledge distillation approach. By interweaving hidden layers of teacher and student network, layer-wisely accumulated estimation errors can be effectively reduced.The proposed method offers a general framework compatible with prevalent network compression techniques such as pruning. Extensive experiments on benchmark datasets demonstrate that cross distillation can significantly improve the student network's accuracy when only a few training instances are available.

研究动机与目标

• 为解决少样本神经网络压缩中因训练数据有限而导致的高估计误差问题，避免过拟合及误差在各层间的累积。
• 在微调仅能使用每类少数样本的限制下，提升压缩后学生网络的泛化能力与鲁棒性。
• 开发一种可通用、即插即用的框架，兼容现有的压缩技术（如剪枝与量化）。
• 在隐私保护设置下（无法使用完整训练数据）减少压缩模型的性能下降。

提出的方法

• 交叉蒸馏引入了一种双循环知识迁移机制：校正（教师的隐藏特征指导学生）与模仿（学生的隐藏特征指导教师）。
• 通过校正与模仿损失函数的凸组合，平衡误差减少与特征对齐。
• 该方法构建了一个联合损失函数，同时最小化教师与学生特征之间的估计误差以及其隐藏表示的不一致性。
• 通过与现有压缩流水线集成，支持结构化与非结构化剪枝。
• 对方法进行了理论分析，证明凸组合可有效减少逐层误差传播。
• 通过网格搜索优化超参数（如凸组合中的权衡权重μ或α,β），以实现性能平衡。

实验结果

研究问题

• RQ1 在过拟合问题严重的少样本网络压缩中，如何有效降低估计误差？
• RQ2 是否可以通过同时校正学生错误并使教师网络感知学生错误的双重监督机制，提升低数据场景下的泛化能力？
• RQ3 在最小化逐层误差累积方面，校正与模仿损失之间的最优权衡是什么？
• RQ4 在极端数据稀缺条件下，交叉蒸馏与标准知识蒸馏及无数据方法相比，在准确率与鲁棒性方面表现如何？
• RQ5 交叉蒸馏是否在深层网络与最终logits层具有更好的泛化能力，因为这些层的误差传播最具破坏性？

主要发现

• 交叉蒸馏在所有层中显著降低了估计误差（ℒʳ），尤其在深层如conv4.3与最终logits层中改善最为明显。
• 在CIFAR-10数据集上使用VGG-16与5-shot训练设置，该方法实现了86.63%的top-1准确率，优于基线方法Ours-NC及其他竞争方法。
• Ours（μ）的最优超参数配置在VGG-16中约为μ=0.6，在ResNet-56中约为μ=0.9，表明对模型具有依赖性敏感性。
• 当凸组合中α+β>1时，Ours-S始终优于Ours-NC，且在参数空间中段达到峰值性能。
• 敏感性分析表明，仅使用校正（μ=0.0）或仅使用模仿（μ=1.0）仍能获得强结果，说明对超参数选择具有鲁棒性。
• 该方法在深层网络中泛化良好，表现为ℒʳ与Ours-NC的比值在深层中低于1.0，表明实现了有效的误差抑制。