[论文解读] Defense Against the Dark Arts: An overview of adversarial example security research and future research directions

Ian Goodfellow|arXiv (Cornell University)|Jun 11, 2018

Adversarial Robustness in Machine Learning被引用 24

一句话总结

本文对对抗样本防御研究提供了全面综述，强调鲁棒性高度依赖于威胁模型和范数约束（例如 L∞、L1）。文章批判了依赖梯度遮蔽的防御方法，认为其具有欺骗性，主张在特定范数下实现认证鲁棒性，并强调标签平滑和logit正则化等间接正则化技术作为有前景且可泛化的防御方法，这些方法并未直接针对对抗鲁棒性进行优化。

ABSTRACT

This article presents a summary of a keynote lecture at the Deep Learning Security workshop at IEEE Security and Privacy 2018. This lecture summarizes the state of the art in defenses against adversarial examples and provides recommendations for future research directions on this topic.

研究动机与目标

• 调查对抗防御机制的最新进展并识别其局限性。
• 强调许多防御方法在依赖梯度遮蔽时容易受到自适应攻击的影响。
• 倡导能够超越特定攻击模型的防御方法，例如基于间接正则化的防御。
• 强调在特定范数约束（例如 L∞、L1）下实现认证鲁棒性的重要性，以及当前认证方法的局限性。
• 探讨对抗样本研究对半监督学习、模型可解释性以及神经网络泛化理解的更广泛影响。

提出的方法

• 基于威胁模型对攻击和防御进行分类，包括数据 poisoning、模型盗取和测试时对抗样本。
• 提出对抗样本不应根据与干净输入的感知相似性来定义，而应根据其与基于真实标准的正确行为的偏离程度来定义。
• 回顾使用强攻击（例如 PGD）的对抗训练作为领先防御策略，尤其在 L∞ 范数下表现优异。
• 分析在替代威胁模型（例如 L1）下防御的失败，表明鲁棒性具有范数特异性。
• 识别标签平滑和 logit 正则化为间接防御方法，可在不进行显式对抗优化的情况下提升鲁棒性。
• 建议使用 CleverHans 库对防御方法进行基准测试，以确保其能抵御目前已知最强的攻击。

实验结果

研究问题

• RQ1 为何许多看似鲁棒的防御方法在面对自适应攻击时会失效？
• RQ2 防御方法在多大程度上能超越特定范数或威胁模型（例如 L∞ 与 L1）实现泛化？
• RQ3 间接正则化技术（例如标签平滑、logit 正则化）是否能在不进行显式对抗训练的情况下提供鲁棒性？
• RQ4 对抗样本如何揭示模型可能学习的是虚假相关性而非真正的理解？
• RQ5 对抗样本研究在推动半监督学习和模型可解释性方面可发挥何种作用？

主要发现

• 基于梯度遮蔽的防御方法（如通过改变梯度来隐藏对抗样本）看似鲁棒，但极易被自适应攻击攻破。
• Madry 等人（2018）提出的最先进防御方法在 MNIST 数据集上于 L∞ 范数下实现了高鲁棒性，但在 L1 范数下失效，表明其具有范数特异性脆弱性。
• 认证防御存在，但仅限于特定范数球，且其认证证书无法跨不同威胁模型泛化。
• 基于 GAN 的模型可生成对人类而言看似自然的对抗样本，甚至能破坏认证防御。
• 标签平滑和 logit 正则化可在不进行直接对抗优化的情况下提升鲁棒性，表明其为更可泛化的防御提供了可能路径。
• 对抗样本研究已通过虚拟对抗训练显著提升了半监督学习性能，该方法在近期基准测试中优于其他方法。