[论文解读] LTD: Low Temperature Distillation for Gradient Masking-free Adversarial Training

Erh–Chung Chen, Che–Rung Lee|arXiv (Cornell University)|Nov 3, 2021

Adversarial Robustness in Machine Learning参考文献 55被引用 11

一句话总结

本文提出低温蒸馏（LTD），一种基于知识蒸馏的方法，通过使用低温度教师模型生成的软标签来提升对抗鲁棒性，避免梯度屏蔽。LTD在CIFAR-10上实现58.19%的鲁棒准确率，在ImageNet上实现42.08%的鲁棒准确率，且无需额外数据，通过利用更平滑的类间概率分布，优于先前方法。

ABSTRACT

Adversarial training is a widely adopted strategy to bolster the robustness of neural network models against adversarial attacks. This paper revisits the fundamental assumptions underlying image classification and suggests that representing data as one-hot labels is a key factor that leads to vulnerabilities. However, in real-world datasets, data ambiguity often arises, with samples exhibiting characteristics of multiple classes, rendering one-hot label representations imprecise. To address this, we introduce a novel approach, Low-Temperature Distillation (LTD), designed to refine label representations. Unlike previous approaches, LTD incorporates a relatively low temperature in the teacher model, while maintaining a fixed temperature for the student model during both training and inference. This strategy not only refines assumptions about data distribution but also strengthens model robustness and avoids the gradient masking problem commonly encountered in defensive distillation. Experimental results demonstrate the efficacy of the proposed method when combined with existing frameworks, achieving robust accuracy rates of 58.19%, 31.13%, and 42.08% on the CIFAR-10, CIFAR-100, and ImageNet datasets, respectively, without the need for additional data.

研究动机与目标

• 解决深度神经网络中自然准确率与鲁棒准确率之间的鲁棒性差距。
• 识别单热标签表示是损害模型鲁棒性的关键因素，尤其在模糊图像中更为显著。
• 提出一种基于软标签的训练方法，以捕捉类别间关系，且不依赖梯度屏蔽。
• 通过采用教师与学生模型温度不同的改进蒸馏框架，提升对抗鲁棒性。
• 在无需依赖额外未标记数据的前提下，实现在CIFAR-10、CIFAR-100和ImageNet上的最先进鲁棒准确率。

提出的方法

• LTD采用知识蒸馏框架，其中教师模型以低温度训练，生成软标签。
• 学生模型使用来自教师的软标签进行交叉熵损失训练，且其温度与教师不同，通常更高。
• 通过不依赖防御蒸馏中的温度相关梯度平滑机制，避免梯度屏蔽。
• 软标签由训练良好的教师模型生成，能够捕捉类别间关系与语义距离。
• 该方法与对抗训练技术（如AWP）结合，进一步提升鲁棒性。
• 该框架在Wide ResNet与ResNet-50架构上，于CIFAR-10、CIFAR-100与ImageNet上进行评估。

实验结果

研究问题

• RQ1 用软标签替代单热标签是否能提升深度神经网络的对抗鲁棒性？
• RQ2 在教师模型中使用低温度是否能提升软标签质量，从而实现更优的泛化能力？
• RQ3 为教师与学生模型分别设置不同温度是否能在避免梯度屏蔽的同时提升鲁棒性？
• RQ4 在不依赖额外数据的前提下，LTD与现有对抗训练方法相比，其鲁棒准确率如何？
• RQ5 LTD能否与AWP等其他鲁棒训练技术有效结合，进一步提升性能？

主要发现

• 在无需额外数据的情况下，LTD在WRN-34-10上实现55.09%的CIFAR-10鲁棒准确率，优于基线对抗训练方法。
• 与AWP结合后，LTD在CIFAR-10上达到58.19%的鲁棒准确率，创下无需额外数据方法的新SOTA记录。
• 在CIFAR-100上，LTD实现31.13%的鲁棒准确率，接近当前无数据方法中的最佳结果。
• 在ImageNet上，LTD使鲁棒准确率相比相同架构未使用LTD的模型提升约4%。
• 使用低温度教师模型生成的软标签显著减小了原始分布与模型预测之间的差异。
• 经过对抗训练的模型因自然准确率较低，不适合作为软标签生成的教师，因此更推荐使用自然训练的模型作为教师。