[论文解读] Adversarial Training with Voronoi Constraints

Marc Khoury, Dylan Hadfield-Menell|arXiv (Cornell University)|May 2, 2019

Adversarial Robustness in Machine Learning参考文献 37被引用 16

一句话总结

本文提出一种带有Voronoi约束的对抗训练方法，用训练点周围的Voronoi胞腔替代传统的范数球，以提升模型鲁棒性。该方法在MNIST上实现了SOTA鲁棒性（NAUC 0.81），在CIFAR-10上取得具有竞争力的结果，且无需预先指定扰动大小𝜖。

ABSTRACT

Adversarial examples are a pervasive phenomenon of machine learning models where seemingly imperceptible perturbations to the input lead to misclassifications for otherwise statistically accurate models. We propose a geometric framework, drawing on tools from the manifold reconstruction literature, to analyze the high-dimensional geometry of adversarial examples. In particular, we highlight the importance of codimension: for low-dimensional data manifolds embedded in high-dimensional space there are many directions off the manifold in which an adversary could construct adversarial examples. Adversarial examples are a natural consequence of learning a decision boundary that classifies the low-dimensional data manifold well, but classifies points near the manifold incorrectly. Using our geometric framework we prove that adversarial training is sample inefficient, and show sufficient sampling conditions under which nearest neighbor classifiers and ball-based adversarial training are robust. Finally we introduce adversarial training with Voronoi constraints, which replaces the norm ball constraint with the Voronoi cell for each point in the training set. We show that adversarial training with Voronoi constraints produces robust models which significantly improve over the state-of-the-art on MNIST and are competitive on CIFAR-10.

研究动机与目标

• 为解决深度学习模型在高共维输入空间中对对抗样本的普遍脆弱性。
• 通过基于高维空间中低维数据流形的几何框架，形式化对抗鲁棒性。
• 表明标准对抗训练中使用ℓp-范数约束在真实数据设置下样本效率低下且不足以实现鲁棒泛化。
• 提出一种新型对抗训练范式，用Voronoi胞腔替代范数球，以更好地捕捉局部数据结构并提升鲁棒性。
• 证明基于Voronoi的约束可消除对预设扰动大小𝜖的需求，实现对局部数据分布的自适应鲁棒性。

提出的方法

• 通过将数据建模为嵌入在高维空间中的低维流形，形式化流形假设，并指出对抗样本源于高共维性。
• 定义一个理论模型ℒ用于对抗训练，保证在训练点周围ℓp-范数球内的鲁棒性，并证明其在高共维情况下的样本低效性。
• 在对抗训练中，用每个训练点的Voronoi胞腔替代ℓp-范数球约束，使其适应局部数据密度和几何结构。
• 使用Voronoi胞腔定义允许的扰动集合，使攻击者能够探索流形外的方向，但这些方向自然受数据分布约束。
• 使用标准对抗训练目标进行模型训练，但将扰动限制在Voronoi胞腔内，而非ℓp-球内。
• 使用NAUC（归一化曲线下面积）和在MNIST与CIFAR-10上逐步增加的ℓ∞-扰动水平下的准确率来评估鲁棒性。

实验结果

研究问题

• RQ1 为何对抗样本在高维模型中如此普遍？共维性在这一现象中起到何种作用？
• RQ2 在高共维设置下，由于样本效率低下，标准对抗训练中使用ℓp-范数约束在多大程度上是不足的？
• RQ3 在对抗训练中，用Voronoi胞腔替代ℓp-范数球是否能提升鲁棒性，且无需预先指定𝜖？
• RQ4 Voronoi胞腔的几何结构与范数球相比，在捕捉局部数据流形拓扑以实现鲁棒泛化方面有何差异？
• RQ5 在真实世界数据集（如MNIST和CIFAR-10）上使用基于Voronoi的对抗训练时，自然准确率与鲁棒性之间的权衡如何？

主要发现

• 使用Voronoi约束的对抗训练在MNIST上实现了0.81的NAUC，显著优于Madry基线（NAUC 0.67），并在𝜖 = 0.4时保持76.3%的准确率。
• 在MNIST上，该模型在标准𝜖 = 0.3之外仍保持高鲁棒性，准确率仅在𝜖 = 0.4后出现急剧下降，而Madry模型在𝜖 = 0.3时即崩溃。
• 在高共维（例如共维500）下，基于Voronoi的方法实现了0.92的NAUC，优于Madry方法（NAUC 0.87），表明在极端设置下鲁棒性得到提升。
• 该方法无需预先设定𝜖，因为Voronoi胞腔可自适应地响应局部数据结构，从而实现对局部变化扰动尺度的鲁棒性。
• 在𝜖 = 0.4下使用ℓ∞-范数约束训练150个周期，其在[0, 0.3]范围内的鲁棒性反而劣于原始Madry模型，而基于Voronoi的方法始终保持更优性能（NAUC 0.81 vs. 0.76）。
• 在CIFAR-10上，基于Voronoi的方法与Madry模型均实现NAUC 0.29，但所提方法通过牺牲自然准确率换取对更大扰动的增强鲁棒性，符合已知的鲁棒性-准确率权衡规律。