[论文解读] On the benefits of knowledge distillation for adversarial robustness

Javier Maroto, Guillermo Ortiz-Jiménez+1 more|arXiv (Cornell University)|Mar 14, 2022

Adversarial Robustness in Machine Learning被引用 10

一句话总结

本文提出对抗知识蒸馏（Adversarial Knowledge Distillation, AKD），一种通过从鲁棒教师网络蒸馏知识来提升最先进模型在干净样本和对抗样本上准确率的方法。在学生模型训练过程中混合使用干净标签与对抗训练教师的输出，AKD 改进了校准能力和泛化性能，尤其在难以学习的样本上表现更优，优于标准对抗训练和以往的蒸馏技术。

ABSTRACT

Knowledge distillation is normally used to compress a big network, or teacher, onto a smaller one, the student, by training it to match its outputs. Recently, some works have shown that robustness against adversarial attacks can also be distilled effectively to achieve good rates of robustness on mobile-friendly models. In this work, however, we take a different point of view, and show that knowledge distillation can be used directly to boost the performance of state-of-the-art models in adversarial robustness. In this sense, we present a thorough analysis and provide general guidelines to distill knowledge from a robust teacher and boost the clean and adversarial performance of a student model even further. To that end, we present Adversarial Knowledge Distillation (AKD), a new framework to improve a model's robust performance, consisting on adversarially training a student on a mixture of the original labels and the teacher outputs. Through carefully controlled ablation studies, we show that using early-stopping, model ensembles and weak adversarial training are key techniques to maximize performance of the student, and show that these insights generalize across different robust distillation techniques. Finally, we provide insights on the effect of robust knowledge distillation on the dynamics of the student network, and show that AKD mostly improves the calibration of the network and modify its training dynamics on samples that the model finds difficult to learn, or even memorize.

研究动机与目标

• 探究知识蒸馏是否能在教师与学生模型容量相同的情况下，超越模型压缩的范畴提升鲁棒性。
• 理解不同蒸馏策略（如标签混合、早停、集成蒸馏）对对抗鲁棒性和干净准确率的影响。
• 分析 AKD 如何改变训练动态与模型校准，特别是在困难样本或对抗样本上的表现。
• 为在最先进模型中应用蒸馏以增强鲁棒性，提供可操作且可泛化的指导原则。

提出的方法

• AKD 使用预训练的教师网络输出（该教师经对抗训练以提升鲁棒性）与干净标签的混合，训练学生模型。
• 该方法采用标签混合策略，损失函数结合了在干净标签上的交叉熵损失与在教师输出上的蒸馏损失，通过超参数控制两者的平衡。
• 对教师网络应用早停策略，以最大化蒸馏后的性能，因为过度训练会损害泛化能力。
• 通过组合标准模型与鲁棒模型的教师模型集成，提升性能并扩展干净准确率与鲁棒性之间的权衡范围。
• 在教师网络上应用小 ε 对抗训练，以进一步提升干净准确率，同时保留一定的鲁棒性。
• 通过特征轨迹的余弦相似度分析训练动态，结果表明 AKD 改进了困难样本上的校准性能，并降低了简单样本上的过度自信。

实验结果

研究问题

• RQ1 当教师与学生模型容量相同时，知识蒸馏是否仍能超越模型压缩的范畴提升最先进模型的鲁棒性？
• RQ2 诸如早停、标签混合与集成蒸馏等技术如何影响学生模型在对抗环境下的性能？
• RQ3 从标准教师模型与对抗训练教师模型蒸馏，对干净准确率与鲁棒准确率分别产生何种影响？
• RQ4 AKD 如何改变学生模型在简单样本与困难样本上的训练动态与置信度校准？
• RQ5 与标准对抗训练相比，AKD 在对抗样本与分布外样本上的泛化能力提升程度如何？

主要发现

• AKD 同时提升了学生模型的干净准确率与鲁棒准确率，最大提升出现在 WideResNet-28 等大模型上，在 CIFAR-10 上对 ∞-范数扰动大小为 8/255 的情况下达到 61.23% 的鲁棒准确率。
• 从对抗训练教师蒸馏可提升鲁棒性，而从标准教师蒸馏则提升干净准确率；在教师模型上应用小 ε 对抗训练可进一步同时改善这两项指标。
• 早停教师模型始终带来最佳的蒸馏后性能，表明最优预训练周期取决于模型与数据集。
• 集成多个教师模型，尤其是结合标准与鲁棒模型，可进一步提升性能，并实现干净准确率与鲁棒性之间的灵活权衡。
• AKD 通过降低简单样本上的置信度、提高困难或对抗样本上的置信度，改善了模型校准，这与更好的泛化与鲁棒性相关。
• 该方法改变了训练动态，使学生与教师在困难样本（尤其是对抗样本）上的特征轨迹差异更大，表明在困难区域的学习能力得到改善。