[论文解读] Lower Bounds on Adversarial Robustness from Optimal Transport

Arjun Nitin Bhagoji, Daniel Cullina+1 more|arXiv (Cornell University)|Sep 26, 2019

Adversarial Robustness in Machine Learning被引用 34

一句话总结

这篇论文把对抗鲁棒性与最优传输联系起来，以在测试时规避下推导0-1损失的下界，并给出高斯情形的最优性与样本复杂度结果，以及对 MNIST、Fashion-MNIST 和 CIFAR-10 的经验界限。

ABSTRACT

While progress has been made in understanding the robustness of machine learning classifiers to test-time adversaries (evasion attacks), fundamental questions remain unresolved. In this paper, we use optimal transport to characterize the minimum possible loss in an adversarial classification scenario. In this setting, an adversary receives a random labeled example from one of two classes, perturbs the example subject to a neighborhood constraint, and presents the modified example to the classifier. We define an appropriate cost function such that the minimum transportation cost between the distributions of the two classes determines the minimum $0-1$ loss for any classifier. When the classifier comes from a restricted hypothesis class, the optimal transportation cost provides a lower bound. We apply our framework to the case of Gaussian data with norm-bounded adversaries and explicitly show matching bounds for the classification and transport problems as well as the optimality of linear classifiers. We also characterize the sample complexity of learning in this setting, deriving and extending previously known results as a special case. Finally, we use our framework to study the gap between the optimal classification performance possible and that currently achieved by state-of-the-art robustly trained neural networks for datasets of interest, namely, MNIST, Fashion MNIST and CIFAR-10.

研究动机与目标

• 激发对在规避场景中对抗鲁棒性的基本极限的理解。
• 定义一个框架，通过合适的代价函数将对抗分类与最优传输联系起来。
• 推导在对抗扰动下分类器可达到的最小0-1损失的下界。
• 描述高斯数据情形并确立在范数界限的对手下线性分类器的最优性。
• 评估在真实数据集（MNIST、Fashion-MNIST、CIFAR-10）上的界限并与鲁棒训练模型进行对比。

提出的方法

• 定义一个对抗代价 c_N，用以编码扰动的邻域约束。
• 将对抗鲁棒性与类别分布之间的最优传输代价 C_N∘C_N^⊤ 联系起来。
• 证明可达到的最小0-1损失等于(1−2 inf_h L(N,h,P)) = (C_N∘C_N^⊤)(P_X1,P_X−1)。
• 对于均值分离的高斯数据，线性分类器是最优的，推导一个凸规划（方程式4），其解给出鲁棒性界限。
• 通过 alpha*(β,μ) 优化给出显式的高斯情形结果（定理2），并与 Q 函数联系。
• 在高斯设定下推导样本复杂度界限（定理3）。
• 实证计算基于传输的下界，针对 MNIST、Fashion-MNIST 和 CIFAR-10，并与鲁棒模型比较。

实验结果

研究问题

• RQ1 在给定扰动预算下，对抗性扰动数据的最小0-1损失是多少？
• RQ2 最优传输理论如何对任意分布下的对抗鲁棒性给出界限？
• RQ3 在高斯情形中，线性分类器是否对对抗鲁棒性最优，以及预算如何影响最优分类器？
• RQ4 在高斯假设下学习鲁棒分类器的样本复杂度是多少？
• RQ5 基于传输的下界与在标准数据集（MNIST、Fashion-MNIST、CIFAR-10）上经过鲁棒训练的模型相比如何？

主要发现

• 最小对抗性风险等于在对抗约束下，类别条件分布之间的最优传输成本乘以2再取1的相反数，即 1−2·C_N∘C_N^⊤(P_X1,P_X−1)。
• 对于范数有界扰动的高斯数据，线性分类器是最优的，且鲁棒性的上界与下界一致。
• 一个明确的凸规划（涉及 alpha*、beta、mu）描述了使用 Q 函数的鲁棒性界限，且 alpha* 支配原始对偶解的匹配。
• 当数据和对手的范数一致时（如 Sigma-范数与 B-范数），最优分类器在不同预算下保持不变，揭示了当范数不同时时 benign 准确率与鲁棒性之间的权衡。
• 论文推导并扩展了样本复杂度结果（通过对均值的贝叶斯/高斯先验），与先前界限一致或有所扩展。
• 对 MNIST、Fashion-MNIST、CIFAR-10 的经验界限显示当前鲁棒模型与理论下界之间存在差距，且随着对抗预算的增加而增大。