[论文解读] Training Ensembles to Detect Adversarial Examples

Alexander Bagnall, Răzvan Bunescu+1 more|arXiv (Cornell University)|Dec 11, 2017

Adversarial Robustness in Machine Learning参考文献 6被引用 30

一句话总结

该论文提出了一种新颖且计算高效的集成方法，通过联合训练多个神经网络模型，使其在干净数据上保持高准确率，同时在随机扰动输入上主动产生分歧，从而在白盒、黑盒和无感知攻击设置下有效检测对抗性样本。该方法在CIFAR-10上的C&W攻击中实现了68.1%的检测率，展现出对最先进攻击的强大鲁棒性，且无需针对特定攻击设计防御机制。

ABSTRACT

We propose a new ensemble method for detecting and classifying adversarial examples generated by state-of-the-art attacks, including DeepFool and C&W. Our method works by training the members of an ensemble to have low classification error on random benign examples while simultaneously minimizing agreement on examples outside the training distribution. We evaluate on both MNIST and CIFAR-10, against oblivious and both white- and black-box adversaries.

研究动机与目标

• 开发一种与攻击无关、计算轻量的对抗性样本检测方法，适用于多种威胁模型。
• 通过鼓励集成模型在分布外输入（尤其是随机扰动）上产生分歧，提升对抗性检测性能。
• 在联合优化准确率与分歧度的同时，保持对干净数据的高分类准确率，从而增强对对抗性输入的敏感性。
• 在MNIST和CIFAR-10上评估该方法对最先进攻击（包括C&W、DeepFool、FGSM和基本迭代方法）的鲁棒性。
• 探索在不同防御目标下，分类准确率与检测率之间的权衡。

提出的方法

• 该方法使用复合损失函数联合训练N个神经网络模型：对干净数据使用标准交叉熵损失（Je），并引入分歧正则化项（Ja），以惩罚模型在随机扰动输入上的一致预测。
• 随机扰动ε从[-η, η)中均匀采样，以生成类似对抗样本的训练样本，其中η控制扰动的L∞-范数。
• 分歧损失Ja通过计算所有模型对之间softmax输出向量的平均点积获得，以鼓励模型在扰动输入上产生多样化预测。
• 总损失为J = Je + λJa，其中λ控制干净准确率与分歧度之间的权衡，通过小批量随机梯度下降进行优化。
• 测试时，通过投票机制进行分类：选择在所有集成成员中排名总和最低的标签；若集成分歧超过阈值τ，则将输入标记为对抗性样本。
• 阈值τ通过在干净验证数据上最小化误报率并最大化对抗样本检测率进行调优。

实验结果

研究问题

• RQ1 是否能够通过集成方法在不依赖攻击先验知识的前提下，有效检测无感知、黑盒和白盒攻击下的对抗性样本？
• RQ2 在联合优化干净数据准确率与扰动输入上分歧度时，该方法在强攻击（如C&W和DeepFool）下的检测性能如何？
• RQ3 当损失函数中Je与Ja的权重不同时，分类准确率与检测率之间的权衡关系如何？
• RQ4 当攻击同时针对干净数据准确率与集成一致性时，该方法是否仍保持有效性？
• RQ5 与未防御模型相比，该方法在随机噪声和对抗性样本上的敏感性有何差异？

主要发现

• 该集成方法在CIFAR-10上对C&W攻击生成的对抗性样本实现了68.1%的检测率，优于未防御模型。
• 在κ=250的C&W攻击下，该方法仅实现7.0%的检测率和9.6%的分类准确率，表明对这一强攻击的应对能力有限。
• DeepFool攻击在CIFAR-10上实现了42.6%的检测率，但其平均失真度较高（3.3），表明其在规避检测方面效果较差。
• 在λ=0.27的白盒设置下，基本迭代攻击的分类准确率为26.4%，检测率为27.1%，表明误分类与检测之间存在权衡。
• 该方法在保持对接受的噪声样本高分类准确率的同时，增强了对随机噪声（η=0.1和η=0.02）的敏感性，表现出对良性扰动的鲁棒性。
• 在黑盒设置下，该方法在保持强干净数据准确率的同时，维持了较高的检测率（如MNIST上FGS攻击的检测率为70.8%），表明其对各类攻击具有良好的泛化能力。