[论文解读] Evaluating the Robustness of Nearest Neighbor Classifiers: A Primal-Dual Perspective

Lu Wang, Xuanqing Liu+3 more|arXiv (Cornell University)|Jun 10, 2019

Adversarial Robustness in Machine Learning参考文献 35被引用 13

一句话总结

该论文通过将问题建模为凸二次规划（QPs），首次提出了计算k-最近邻（k-NN）分类器最小对抗扰动的精确算法，从而实现可证明最优的攻击与鲁棒性验证，基于原始-对偶解。该方法在1-NN情况下实现多项式时间计算，在较大K值时提供高效上下界，相较于以往基于启发式或近似的方法，在攻击效果与验证紧致性方面均表现更优。

ABSTRACT

We study the problem of computing the minimum adversarial perturbation of the Nearest Neighbor (NN) classifiers. Previous attempts either conduct attacks on continuous approximations of NN models or search for the perturbation by some heuristic methods. In this paper, we propose the first algorithm that is able to compute the minimum adversarial perturbation. The main idea is to formulate the problem as a list of convex quadratic programming (QP) problems that can be efficiently solved by the proposed algorithms for 1-NN models. Furthermore, we show that dual solutions for these QP problems could give us a valid lower bound of the adversarial perturbation that can be used for formal robustness verification, giving us a nice view of attack/verification for NN models. For $K$-NN models with larger $K$, we show that the same formulation can help us efficiently compute the upper and lower bounds of the minimum adversarial perturbation, which can be used for attack and verification.

研究动机与目标

• 为解决k-NN分类器中最小对抗扰动计算缺乏精确方法的问题，因为其不可微且非凸。
• 开发一种可证明最优的攻击算法，精确计算1-NN模型的最小扰动。
• 提出首个基于QP对偶解的k-NN分类器形式化鲁棒性验证方法。
• 将框架扩展至K>1的K-NN，实现攻击与验证的高效上下界。
• 证明在MNIST和Fashion-MNIST等简单数据集上，1-NN的可验证鲁棒性优于深度神经网络。

提出的方法

• 将1-NN的最小对抗扰动问题建模为一组可多项式时间求解的凸二次规划（QPs）。
• 采用贪心坐标上升法高效求解每个QP，利用问题结构中的稀疏性。
• 通过推导QP的对偶解，获得最小扰动的合法下界，从而实现形式化鲁棒性验证。
• 引入筛选规则，显著减少每个测试样本所需求解的QP数量，大幅提升计算效率。
• 对于K>1的K-NN，通过近似原始解实现攻击，通过构造对偶可行解实现与K无关的紧致验证边界。
• 利用原始-对偶框架，同时实现k-NN模型的最优攻击（原始）与形式化验证（对偶）。

实验结果

研究问题

• RQ1 能否精确计算1-NN分类器的最小对抗扰动，而非近似？
• RQ2 原始-对偶QP建模能否同时实现k-NN模型的最优攻击与形式化鲁棒性验证？
• RQ3 当K>1时，如何管理K-NN鲁棒性评估的计算复杂度？
• RQ4 在相同扰动约束下，1-NN模型的鲁棒性是否可证明优于深度神经网络？
• RQ5 QP问题的对偶解能否为K-NN模型提供紧致且高效的对抗扰动下界？

主要发现

• 所提算法可精确计算1-NN模型的最小对抗扰动，其扰动幅度显著小于先前攻击方法。
• 对于1-NN，该方法可证明最优，且相比SCS、CVXOPT和ECOS等标准QP求解器，速度最高提升60倍。
• 该算法是首个为k-NN提供形式化鲁棒性验证的方法，其对偶解可提供对抗扰动的紧致下界。
• 在MNIST和Fashion-MNIST数据集上，1-NN的可验证鲁棒性误差（27.06%和78.25%）低于CNN模型（100%可验证误差），尽管其干净误差更高。
• 对于K>1的K-NN，验证器的下界计算时间复杂度与K无关，且QP-贪心法所得上界优于基线方法。
• 筛选规则将每个样本平均需求解的QP数量从约54,000降低至2.53，显著提升效率。