[论文解读] Adversarial Classification: Necessary conditions and geometric flows

Nicolás García Trillos, Ryan Murray|arXiv (Cornell University)|Nov 21, 2020

Adversarial Robustness in Machine Learning参考文献 27被引用 5

一句话总结

本文将对抗性分类问题形式化为几何优化问题，推导出在 $\varepsilon$-有界扰动下最优分类器的必要条件。提出一种几何流——在高维中等价于一类平均曲率型偏微分方程（PDE），在一维中则为解耦常微分方程（ODE）——该流从 $\varepsilon=0$ 时的贝叶斯分类器开始演化决策边界，并在较弱的正则性假设下，证明了对小 $\varepsilon$ 值解的局部存在性与唯一性。

ABSTRACT

We study a version of adversarial classification where an adversary is empowered to corrupt data inputs up to some distance $\varepsilon$, using tools from variational analysis. In particular, we describe necessary conditions associated with the optimal classifier subject to such an adversary. Using the necessary conditions, we derive a geometric evolution equation which can be used to track the change in classification boundaries as $\varepsilon$ varies. This evolution equation may be described as an uncoupled system of differential equations in one dimension, or as a mean curvature type equation in higher dimension. In one dimension, and under mild assumptions on the data distribution, we rigorously prove that one can use the initial value problem starting from $\varepsilon=0$, which is simply the Bayes classifier, in order to solve for the global minimizer of the adversarial problem for small values of $\varepsilon$. In higher dimensions we provide a similar result, albeit conditional to the existence of regular solutions of the initial value problem. In the process of proving our main results we obtain a result of independent interest connecting the original adversarial problem with an optimal transport problem under no assumptions on whether classes are balanced or not. Numerical examples illustrating these ideas are also presented.

研究动机与目标

• 建立在 $\ell_2$-有界扰动下对抗性二分类问题中最优分类器的必要条件。
• 推导一个几何演化方程，描述随着对手扰动半径 $\varepsilon$ 增大，决策边界如何变化。
• 通过对偶性严格连接对抗性分类问题与最优传输问题，且不依赖于类别平衡。
• 提供一种计算框架，通过求解初值问题，从贝叶斯分类器演化逼近鲁棒分类器。
• 分析在一维与高维中所推导演化方程解的正则性与稳定性。

提出的方法

• 将对抗性分类问题形式化为带有一类由 $\varepsilon$-扰动诱导的周长型正则化的变分优化问题。
• 推导出最优性的欧拉-拉格朗日型必要条件，导出一维中的常微分方程组与高维中的偏微分方程组。
• 在一维中，边界点 $a_i(\varepsilon)$ 与 $b_i(\varepsilon)$ 的演化由一个涉及类密度 $\rho_0$ 与 $\rho_1$ 导数的解耦常微分方程控制。
• 在高维中，演化由一类平均曲率型偏微分方程描述，曲率项来源于符号距离函数与法向导数。
• 通过法映射 $T(x) = x + \varepsilon \nu(x)$ 的变量替换，推导出关于 $\varepsilon$-偏移曲面的面积分公式。
• 应用分层蛋糕表示与最优传输对偶性，将对抗性问题重述为无需假设类别平衡的传输问题。

实验结果

研究问题

• RQ1 当对手的扰动半径 $\varepsilon$ 从零开始增加时，最优对抗性分类器的决策边界如何演化？
• RQ2 在 $\ell_2$-有界扰动下，对抗性分类的最优性必要条件是什么？
• RQ3 能否以 $\varepsilon=0$ 时的贝叶斯分类器为起点，计算小 $\varepsilon>0$ 时的最优分类器？
• RQ4 对抗性分类与最优传输之间存在何种联系，尤其是在类别不平衡的情况下？
• RQ5 在何种条件下，几何演化方程能保持正则性并避免决策边界的拓扑变化？

主要发现

• 在一维中，在类密度 $\rho_0$ 与 $\rho_1$ 满足较弱正则性假设的前提下，小 $\varepsilon$ 下对抗性问题的解可通过从贝叶斯分类器出发求解初值问题获得。
• 边界点 $b_i(\varepsilon)$ 与 $a_i(\varepsilon)$ 的演化由一个涉及在 $\varepsilon$-平移点处类密度导数的解耦常微分方程控制。
• 在高维中，决策边界的演化由一类平均曲率型偏微分方程描述，前提是初值问题存在光滑解。
• 通过对其偶性，证明了对抗性分类问题等价于一个最优传输问题，即使在类别不平衡时也成立。
• 该几何流在 $\varepsilon$ 的局部范围内保持初始贝叶斯分类器的结构，但拓扑变化可能导致较大 $\varepsilon$ 时解的非唯一性。
• 数值示例展示了随着 $\varepsilon$ 增大，决策边界的演化过程，验证了理论预测的边界平滑化与曲率驱动运动。