[论文解读] Are Adversarial Examples Inevitable?

Ali Shafahi, Wenhui Huang+3 more|arXiv (Cornell University)|Sep 6, 2018

Adversarial Robustness in Machine Learning参考文献 47被引用 85

一句话总结

本文通过高维几何推导鲁棒性的理论边界，研究对抗样本在机器学习分类器中是否从根本上不可避免。研究表明，对于具有集中类别流形的复杂高维数据分布，对抗样本不可避免，其根源在于数据本身的内在复杂性，而非维度本身，且鲁棒性极限与数据分布特性及扰动范数紧密相关。

ABSTRACT

A wide range of defenses have been proposed to harden neural networks against adversarial attacks. However, a pattern has emerged in which the majority of adversarial defenses are quickly broken by new attacks. Given the lack of success at generating robust defenses, we are led to ask a fundamental question: Are adversarial attacks inevitable? This paper analyzes adversarial examples from a theoretical perspective, and identifies fundamental bounds on the susceptibility of a classifier to adversarial attacks. We show that, for certain classes of problems, adversarial examples are inescapable. Using experiments, we explore the implications of theoretical guarantees for real-world problems and discuss how factors such as dimensionality and image complexity limit a classifier's robustness against adversarial examples.

研究动机与目标

• 本文研究对抗样本在机器学习分类器中是否从根本上不可避免。
• 旨在识别限制对抗鲁棒性的内在几何与分布因素。
• 研究鲁棒性是否根本上由数据分布和范数选择决定，而非通过防御技术改善。
• 探讨数据复杂性与维度在决定对抗攻击易感性中的作用。
• 目标是建立独立于特定防御架构的对抗鲁棒性理论极限。

提出的方法

• 作者利用高维几何中的等周不等式，推导分类器鲁棒性的理论边界。
• 定义了一个集中度度量 Uc，用于量化图像类别在输入空间中的集中程度，Uc 越高表示集中度越高。
• 通过单位球面上的归一化表面积测度 µ1 和 ℓp-范数（包括 ℓ∞、ℓ2 和 ℓ0）建立扰动模型，推导理论边界。
• 分析同时考虑 ℓ2-范数和 ℓ0-范数（稀疏扰动），表明范数选择显著影响对抗样本的存在性。
• 通过在 MNIST 和 CIFAR-10 上的实验验证理论结果，比较不同图像分辨率下自然训练与对抗训练模型的性能。
• 使用投影梯度下降（PGD）生成对抗样本，并在不同扰动阈值 ϵ 下评估鲁棒性。

实验结果

研究问题

• RQ1 对于某些数据分布，对抗样本是否在任何防御策略下都不可避免？
• RQ2 数据复杂性（以集中度度量 Uc 衡量）在多大程度上决定了对抗鲁棒性的根本极限？
• RQ3 维度增加是否必然提高对抗易感性，还是数据分布的影响更为关键？
• RQ4 不同 ℓp-范数（ℓ∞、ℓ2、ℓ0）如何影响对抗样本的存在性与强度？
• RQ5 基于高维几何推导的理论边界能否预测真实世界分类器的鲁棒性？

主要发现

• 当图像类别占据单位超立方体超过 1/2 exp(−πϵ²) 的区域时，ℓ2-范数 ≤ ϵ 的对抗样本必然存在。
• 理论分析表明，对于某些数据分布，特别是当类别流形高度集中（Uc 较高）时，对抗样本不可避免。
• 集中度边界 Uc 是鲁棒性的关键决定因素：Uc 越高（类别越集中），易感性越低；Uc 越低（类别越复杂、越分散），脆弱性越高。
• 实验结果证实，尽管 CIFAR-10 与大尺寸 MNIST 维度相似，但其易感性远高于 MNIST，原因在于更低的 Uc 和更高的数据复杂性。
• 对抗训练并未消除根本限制；相反，它使分类器趋近于理论预测的鲁棒性边界。
• 本文表明，图像分辨率提升（如 112×112 与 28×28 MNIST）并不会从根本上增加对抗易感性，因为鲁棒性曲线与维度成比例缩放。