[论文解读] Improving Knowledge Distillation with Supporting Adversarial Samples
本文提出了一种新颖的知识蒸馏方法，通过利用支持教师模型决策边界的对抗性样本，提升学生网络的性能。通过在这些边界支持型对抗性样本上进行训练，该方法增强了模型的泛化能力，并在图像分类基准上取得了最先进（SOTA）的结果。
Many recent works on knowledge distillation have provided ways to transfer the knowledge of a trained network for improving the learning process of a new one, but finding a good technique for knowledge distillation is still an open problem. In this paper, we provide a new perspective based on a decision boundary, which is one of the most important component of a classifier. The generalization performance of a classifier is closely related to the adequacy of its decision boundary, so a good classifier bears a good decision boundary. Therefore, transferring information closely related to the decision boundary can be a good attempt for knowledge distillation. To realize this goal, we utilize an adversarial attack to discover samples supporting a decision boundary. Based on this idea, to transfer more accurate information about the decision boundary, the proposed algorithm trains a student classifier based on the adversarial samples supporting the decision boundary. Experiments show that the proposed method indeed improves knowledge distillation and achieves the state-of-the-arts performance.
研究动机与目标
- 通过聚焦于与决策边界相关的信息，提升知识蒸馏效果，因为决策边界是泛化能力的关键因素。
- 解决现有蒸馏方法未显式考虑决策边界质量或结构的局限性。
- 通过识别并利用支持决策边界的对抗性样本，开发一种更有效地传递知识的方法。
- 证明边界感知蒸馏可带来在下游任务中更优的泛化性能与表现。
提出的方法
- 该方法使用对抗性攻击识别位于教师模型决策边界附近的对抗性样本。
- 这些对抗性样本根据其在支持或定义决策边界中的作用被选择，以增强模型的鲁棒性。
- 学生网络不仅在干净数据上进行训练，还在这些边界支持型对抗性样本上进行训练，以改善决策边界的学習。
- 该方法将对抗性样本整合到蒸馏损失中，确保学生模型学习到教师模型决策边界的几何结构。
- 训练目标结合了标准交叉熵损失与知识蒸馏损失，其中软标签来自教师模型在对抗性样本上的预测结果。
实验结果
研究问题
- RQ1支持决策边界的对抗性样本能否提升知识蒸馏的性能？
- RQ2将边界支持型对抗性样本纳入训练，如何影响学生模型的泛化能力？
- RQ3该方法在图像分类任务上是否优于标准知识蒸馏及其他最先进方法？
- RQ4决策边界质量对知识蒸馏成功的影响是什么？
主要发现
- 所提出的方法在标准图像分类基准上实现了最先进（SOTA）的性能，优于现有的蒸馏技术。
- 在支持决策边界的对抗性样本上进行训练，可使学生模型更具鲁棒性和泛化能力。
- 该方法通过显式传递关于决策边界结构的知识，而不仅仅是类别概率，从而提升泛化能力。
- 实验结果证实，包含边界支持型对抗性样本显著提升了学生网络的准确率与鲁棒性。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。