[论文解读] Analyzing the Robustness of Nearest Neighbors to Adversarial Examples

Yizhen Wang, Somesh Jha+1 more|arXiv (Cornell University)|Jun 13, 2017

Adversarial Robustness in Machine Learning参考文献 26被引用 63

一句话总结

本文建立了一个偏差-方差风格的鲁棒性框架，用于对抗对抗性样本，并分析 k 最近邻（k-NN），揭示在不同阶段的鲁棒性并提出一个具有理论保证和经验验证的鲁棒1-NN变体。

ABSTRACT

Motivated by safety-critical applications, test-time attacks on classifiers via adversarial examples has recently received a great deal of attention. However, there is a general lack of understanding on why adversarial examples arise; whether they originate due to inherent properties of data or due to lack of training samples remains ill-understood. In this work, we introduce a theoretical framework analogous to bias-variance theory for understanding these effects. We use our framework to analyze the robustness of a canonical non-parametric classifier - the k-nearest neighbors. Our analysis shows that its robustness properties depend critically on the value of k - the classifier may be inherently non-robust for small k, but its robustness approaches that of the Bayes Optimal classifier for fast-growing k. We propose a novel modified 1-nearest neighbor classifier, and guarantee its robustness in the large sample limit. Our experiments suggest that this classifier may have good robustness properties even for reasonable data set sizes.

研究动机与目标

• 引入一个偏差-方差风格的框架（分布性、有限样本、算法鲁棒性）用于对抗性扰动下的学习。
• 在理论上分析不同 k 范畴下 k-NN 的鲁棒性。
• 提出并分析一个在修改后的训练集上运行、具有可证明鲁棒性的鲁棒1-NN变体。
• 通过多数据集和多种攻击的实验来验证理论发现。

提出的方法

• 定义鲁棒性概念：鲁棒半径、相对于某分布的鲁棒性，以及机敏性（astuteness）。
• 在两种情形下刻画 k-NN 的鲁棒性：常数 k 与 k 随着 Omega(sqrt(d n log n)) 增长。
• 证明常数 k 的最近邻在 eta(x) ∈ (0,1) 的区域内具有零分布鲁棒性，但在 eta ∈ {0,1} 的区域却是鲁棒的。
• 表明足够大的 k（Omega(sqrt(d n log n))）在大样本下的鲁棒性接近贝叶斯最优。
• 引入一个鲁棒的1-NN变体，通过修剪训练点以强制分离标注相反的点，并为分类保留一个鲁棒子集。
• 在大样本极限下为鲁棒1-NN算法提供性能保证并分析其鲁棒区域。

实验结果

研究问题

• RQ1 k-NN 的鲁棒性如何随 k 的选择在不同数据分布中变化？
• RQ2 在什么条件下 k-NN 能在大样本下达到与贝叶斯最优相近的鲁棒性？
• RQ3 是否可以构造一个具有可证明鲁棒性的实用鲁棒1-NN变体？
• RQ4 分布性和有限样本方面如何影响最近邻方法对对抗扰动的鲁棒性？

主要发现

• 对于固定的 k，在 eta(x) 严格位于 0 与 1 之间的区域，k-NN 具有零分布鲁棒性。
• 若 k 增长为 Omega(sqrt(d n log n))，k-NN 的鲁棒区域在大样本极限下趋近于贝叶斯最优分类器的鲁棒区域。
• 提出一个鲁棒的1-NN变体，通过尽量少地移除点来创建一个 r-分离的训练集，同时保留自信标记的样本，在某些条件下产生可保证的鲁棒性。
• 鲁棒1-NN算法在高密度区域以及 eta(x) 与 1/2 有明显距离时，获得了有利的鲁棒性保证。
• 在 Halfmoon、MNIST 1v7 和 Abalone 上的实验证据显示 RobustNN 在多种白盒和黑盒攻击下优于标准 NN 和对抗训练 NN 基线，性能取决于数据密度和维度。