[论文解读] Effects of Loss Functions And Target Representations on Adversarial Robustness

Sean Saito, Sujoy Roy|arXiv (Cornell University)|Dec 1, 2018

Adversarial Robustness in Machine Learning参考文献 41被引用 6

一句话总结

本文提出使用均方误差（MSE）损失和基于码字的目标表示来训练神经网络，而非标准的交叉熵损失和独热编码。经修改的模型在对抗未定向攻击时，鲁棒准确率最高可达98.7%，针对定向攻击的成功率降低高达99.8%，且Lipschitz常数显著减小，表明即使面对针对该修改专门设计的攻击，其鲁棒性也得到增强。

ABSTRACT

Understanding and evaluating the robustness of neural networks under adversarial settings is a subject of growing interest. Attacks proposed in the literature usually work with models trained to minimize cross-entropy loss and output softmax probabilities. In this work, we present interesting experimental results that suggest the importance of considering other loss functions and target representations, specifically, (1) training on mean-squared error and (2) representing targets as codewords generated from a random codebook. We evaluate the robustness of neural networks that implement these proposed modifications using existing attacks, showing an increase in accuracy against untargeted attacks of up to 98.7\% and a decrease of targeted attack success rates of up to 99.8\%. Our model demonstrates more robustness compared to its conventional counterpart even against attacks that are tailored to our modifications. Furthermore, we find that the parameters of our modified model have significantly smaller Lipschitz bounds, an important measure correlated with a model's sensitivity to adversarial perturbations.

研究动机与目标

• 探究非传统训练目标与目标表示是否能提升对抗鲁棒性。
• 在多种攻击场景下评估鲁棒性，包括白盒攻击与迁移攻击。
• 通过Lipschitz常数分析模型参数与鲁棒性之间的关系。
• 设计一种针对所提修改的定向攻击，以测试其抗损能力。

提出的方法

• 使用双曲正切激活输出与随机码书中的码字之间的均方误差（MSE）损失来训练模型，替代标准的交叉熵损失与独热编码目标。
• 通过随机码书采样生成码字以表示类别标签，避免使用独热编码。
• 应用标准对抗攻击（FGSM、BIM、MIM、L-BFGS、CWL2）在未定向与定向设置下评估鲁棒性。
• 设计一种改进的CWL2攻击，以适应新的损失函数与目标表示形式，用于测试模型的抗损能力。
• 计算卷积层权重的上界Lipschitz常数，以关联参数敏感性与鲁棒性。
• 在不同威胁模型下，对比模型在数据集（CIFAR-10、MNIST、Fashion-MNIST）上的性能表现。

实验结果

研究问题

• RQ1 用均方误差损失替代交叉熵损失，是否能提升图像分类模型的对抗鲁棒性？
• RQ2 使用随机码字替代独热向量，在多大程度上可增强对对抗攻击的鲁棒性？
• RQ3 该改进模型在面对专门针对其架构与训练目标设计的攻击时，表现如何？
• RQ4 通过Lipschitz常数的谱分析，能否解释观察到的鲁棒性提升？
• RQ5 MSE损失与码字目标的组合在基于迁移的黑盒攻击下是否仍保持鲁棒性？

主要发现

• 修改后的模型在未定向攻击下最高达到98.7%的准确率，显著优于标准交叉熵基线模型。
• 与标准模型相比，修改模型的定向攻击成功率最高降低了99.8%。
• 即使在使用针对新损失与目标格式定制的CWL2攻击下，该模型的攻击成功率仍比基线模型低28.5%。
• R:TANH:MSE模型需更大的扰动（如ε = 0.35 vs. ε = 0.03）才能实现100%攻击成功率，表明其具有更高的鲁棒性。
• MSE训练模型中卷积层权重的上界Lipschitz常数比交叉熵模型小至三倍，支持了其对扰动敏感性降低的假设。
• 可视化结果表明，即使在强攻击（如MIM，ε = 0.1）下，修改模型的对抗样本也更难被察觉，且需更大扰动才能导致误分类。