[论文解读] MULDEF: Multi-model-based Defense Against Adversarial Examples for Neural Networks

Siwakorn Srisakaokul, Yuhao Zhang+4 more|arXiv (Cornell University)|Aug 31, 2018

Adversarial Robustness in Machine Learning参考文献 36被引用 16

一句话总结

MulDef 是一种新颖的防御框架，通过利用一组多样化、多模型的系统，增强了神经网络对对抗样本的鲁棒性。它在推理时从多个使用对抗样本训练的模型中随机选择，相较于单模型防御，在白盒攻击下实现了 22–74% 的更高对抗准确率，同时在干净输入上保持了标准准确率。

ABSTRACT

Despite being popularly used in many applications, neural network models have been found to be vulnerable to adversarial examples, i.e., carefully crafted examples aiming to mislead machine learning models. Adversarial examples can pose potential risks on safety and security critical applications. However, existing defense approaches are still vulnerable to attacks, especially in a white-box attack scenario. To address this issue, we propose a new defense approach, named MulDef, based on robustness diversity. Our approach consists of (1) a general defense framework based on multiple models and (2) a technique for generating these multiple models to achieve high defense capability. In particular, given a target model, our framework includes multiple models (constructed from the target model) to form a model family. The model family is designed to achieve robustness diversity (i.e., an adversarial example successfully attacking one model cannot succeed in attacking other models in the family). At runtime, a model is randomly selected from the family to be applied on each input example. Our general framework can inspire rich future research to construct a desirable model family achieving higher robustness diversity. Our evaluation results show that MulDef (with only up to 5 models in the family) can substantially improve the target model's accuracy on adversarial examples by 22-74% in a white-box attack scenario, while maintaining similar accuracy on legitimate examples.

研究动机与目标

• 解决神经网络在白盒攻击条件下对对抗样本持续存在的脆弱性问题。
• 通过引入鲁棒性多样性，克服现有防御方法的局限性，如再攻击、迁移性和可绕过蒸馏的问题。
• 开发一种通用且可扩展的防御框架，无需修改原始目标模型的架构或训练过程。
• 通过模型族设计和运行时选择，确保在白盒和黑盒攻击场景下均具备强大性能。
• 仅使用少量模型（最多 5 个）即可实现高防御能力，同时保持高效性和实用性。

提出的方法

• 通过使用先前训练模型生成的对抗样本，构建目标模型的多个变体，形成模型族。
• 在推理时采用随机模型选择策略，防止攻击者预测将使用哪一模型。
• 通过使用不同的对抗样本训练家族中的每个模型，确保鲁棒性多样性，使对某一模型有效的攻击在其他模型上失效。
• 在家族的所有模型中使用相同的架构，但通过注入对抗样本改变训练数据分布。
• 在每个模型中应用现有的防御技术（如对抗训练和蒸馏），以增强单个模型的鲁棒性。
• 通过确保模型族在合法样本上保持原始模型的性能，维持在干净输入上的高准确率。

实验结果

研究问题

• RQ1 与单模型防御相比，多模型防御框架是否能显著提升对白盒对抗攻击的鲁棒性？
• RQ2 鲁棒性多样性在减轻对抗机器学习中的迁移性和再攻击脆弱性方面有多有效？
• RQ3 在家族中仅使用少量模型（如 5 个）时，能在多大程度上显著提升对抗准确率，同时不降低干净准确率？
• RQ4 即使蒸馏被绕过，推理时的随机模型选择是否能有效干扰基于梯度的攻击？
• RQ5 所提出的框架是否可普遍应用于任何预训练模型，而无需修改架构或从头开始重新训练？

主要发现

• 在白盒攻击（FGSM、C&W、PGD）下，MulDef 在 MNIST 和 CIFAR-10 上将对抗准确率提升了 22–74%，显著优于基线防御方法。
• 该防御在干净（非对抗性）样本上的准确率几乎保持不变，表明标准性能未出现退化。
• 即使在黑盒攻击场景下，MulDef 也将对抗准确率提升了 2–10%，表明具备广谱鲁棒性。
• 该框架仅需家族中最多五个模型即可实现优异性能，证明了其可扩展性和高效性。
• 鲁棒性多样性有效防止了迁移性和再攻击，因为对某一模型有效的对抗样本在家族中其他模型上均会失效。
• 该方法具有通用性，无需修改原始模型的架构或训练过程，可轻松集成到现有模型中。