[论文解读] Adversarial Risk and Robustness: General Definitions and Implications for the Uniform Distribution

Dimitrios I. Diochnos, Saeed Mahloujifar+1 more|arXiv (Cornell University)|Oct 29, 2018

Adversarial Robustness in Machine Learning被引用 11

一句话总结

本文提出了一种对抗性风险与鲁棒性定义的严格分类体系，主张以误差区域定义作为保证误分类的最可靠方法。该研究建立了紧密的理论边界，表明当输入在{0,1}^n上均匀分布时，任何初始误差为0.01的分类器都对O(√n)汉明距离的对抗性扰动具有脆弱性，此类扰动可使风险上升至0.5甚至1，表明在均匀分布下存在固有的脆弱性。

ABSTRACT

We study adversarial perturbations when the instances are uniformly distributed over $\\{0,1\\}^n$. We study both "inherent" bounds that apply to any problem and any classifier for such a problem as well as bounds that apply to specific problems and specific hypothesis classes. As the current literature contains multiple definitions of adversarial risk and robustness, we start by giving a taxonomy for these definitions based on their goals, we identify one of them as the one guaranteeing misclassification by pushing the instances to the error region. We then study some classic algorithms for learning monotone conjunctions and compare their adversarial risk and robustness under different definitions by attacking the hypotheses using instances drawn from the uniform distribution. We observe that sometimes these definitions lead to significantly different bounds. Thus, this study advocates for the use of the error-region definition, even though other definitions, in other contexts, may coincide with the error-region definition. Using the error-region definition of adversarial perturbations, we then study inherent bounds on risk and robustness of any classifier for any classification problem whose instances are uniformly distributed over $\\{0,1\\}^n$. Using the isoperimetric inequality for the Boolean hypercube, we show that for initial error $0.01$, there always exists an adversarial perturbation that changes $O(\\sqrt{n})$ bits of the instances to increase the risk to $0.5$, making classifier's decisions meaningless. Furthermore, by also using the central limit theorem we show that when $n\ o \\infty$, at most $c \\cdot \\sqrt{n}$ bits of perturbations, for a universal constant $c< 1.17$, suffice for increasing the risk to $0.5$, and the same $c \\cdot \\sqrt{n} $ bits of perturbations on average suffice to increase the risk to $1$, hence bounding the robustness by $c \\cdot \\sqrt{n}$.

研究动机与目标

• 通过基于其目标的分类体系来解决对抗性风险与鲁棒性定义中的模糊性。
• 在均匀分布U_n下，使用单调合取式评估并比较不同的对抗性定义。
• 推导出当输入在{0,1}^n上均匀分布时，任何分类器的对抗性风险与鲁棒性的固有边界。
• 证明即使是最优分类器，在均匀输入分布下也具有根本上的脆弱性，其鲁棒性受O(√n)汉明距离的限制。

提出的方法

• 提出了三种不同的对抗性风险与鲁棒性定义：基于误差区域、基于预测变化、基于污染实例。
• 利用布尔超立方体上的等周不等式，界定使风险上升至0.5所需的最小扰动大小。
• 应用中心极限定理，表明当n较大时，c·√n的扰动（c < 1.17）平均足以使风险上升至0.5或1。
• 使用BSize函数，将分类器误差区域大小与误差区域定义下的对抗性风险关联起来。
• 利用引理4.17将鲁棒性与累积对抗性风险联系起来，从而实现基于求和的平均扰动大小边界。
• 通过在Find-S和Swapping Algorithm上的实验评估，比较在U_n下不同学习算法的鲁棒性。

实验结果

研究问题

• RQ1 哪种对抗性风险定义最可靠地保证对抗样本被误分类？
• RQ2 不同的对抗性鲁棒性定义为何会对同一分类器和问题产生不同的边界？
• RQ3 当输入在{0,1}^n上均匀分布时，任何分类器的对抗性鲁棒性是否存在固有极限？
• RQ4 能否利用等周不等式与概率不等式推导出对抗性扰动大小的紧密理论边界？
• RQ5 在均匀分布下，Find-S和Swapping Algorithm等标准学习算法在对抗性鲁棒性方面如何比较？

主要发现

• 只有误差区域定义能保证所有对抗样本都被误分类，因此在理论分析中最为可靠。
• 对于在均匀分布输入下初始误差为0.01的任意分类器，存在一个O(√n)汉明距离的对抗性扰动，可使风险上升至0.5。
• 当n → ∞时，最多c·√n的扰动（c < 1.17）足以使风险平均上升至0.5，且相同平均扰动大小也足以使风险上升至1。
• 在误差区域定义下，任何分类器的鲁棒性均受c·√n的限制，表明在高维二值空间中存在固有的脆弱性。
• 在相同条件下，Find-S算法生成的假设比Swapping Algorithm生成的假设更一致地具有鲁棒性。
• 通过等周不等式与中心极限定理推导出的理论边界证实，对抗性脆弱性并非算法特异，而是数据分布固有的特性。