[論文レビュー] Adversarial Classification: Necessary conditions and geometric flows

Nicolás García Trillos, Ryan Murray|arXiv (Cornell University)|Nov 21, 2020

Adversarial Robustness in Machine Learning参考文献 27被引用数 5

ひとこと要約

この論文は、$\varepsilon$-有界摂動下での敵対的分類を幾何的最適化問題として定式化し、最適な分類器の必要条件を導出する。$\varepsilon=0$ におけるベイズ分類器から出発する幾何的フロー（高次元では平均曲率型PDEに相当し、1次元では分離されたODEに相当）を導入し、弱い正則性仮定の下で小さな $\varepsilon$ に対して解の局所的存在および一意性を証明する。

ABSTRACT

We study a version of adversarial classification where an adversary is empowered to corrupt data inputs up to some distance $\varepsilon$, using tools from variational analysis. In particular, we describe necessary conditions associated with the optimal classifier subject to such an adversary. Using the necessary conditions, we derive a geometric evolution equation which can be used to track the change in classification boundaries as $\varepsilon$ varies. This evolution equation may be described as an uncoupled system of differential equations in one dimension, or as a mean curvature type equation in higher dimension. In one dimension, and under mild assumptions on the data distribution, we rigorously prove that one can use the initial value problem starting from $\varepsilon=0$, which is simply the Bayes classifier, in order to solve for the global minimizer of the adversarial problem for small values of $\varepsilon$. In higher dimensions we provide a similar result, albeit conditional to the existence of regular solutions of the initial value problem. In the process of proving our main results we obtain a result of independent interest connecting the original adversarial problem with an optimal transport problem under no assumptions on whether classes are balanced or not. Numerical examples illustrating these ideas are also presented.

研究の動機と目的

• \ell_2-有界摂動下における敵対的二値分類の最適分類器の必要条件を確立すること。
• 敵対的摂動半径 $\varepsilon$ の増加に伴い意思決定境界がどのように変化するかを記述する幾何的発展方程式を導出すること。
• クラスのバランスに依存しない形で、敵対的分類問題と最適輸送の間の厳密な接続を、双対性を用いて確立すること。
• 初期値問題に従ってベイズ分類器を発展させることで、ロバスト分類器を近似する計算フレームワークを提供すること。
• 1次元および高次元における導出された発展方程式の解の正則性および安定性を分析すること。

提案手法

• 敵対的分類問題を、$\varepsilon$-摂動によって誘導される境界項型正則化を伴う変分最適化問題として定式化する。
• 最適性のためのオイラー＝ラグランジュ型の必要条件を導出し、1次元では常微分方程式系、高次元では偏微分方程式が得られる。
• 1次元では、境界点 $a_i(\varepsilon)$ および $b_i(\varepsilon)$ の発展は、クラス密度 $\rho_0$ および $\rho_1$ の導関数を含む分離されたODEに従う。
• 高次元では、発展は平均曲率型PDEで記述され、符号付き距離関数および法線微分から生じる曲率項が現れる。
• $T(x) = x + \varepsilon \nu(x)$ による法線写像を用いた変数変換を行い、$\varepsilon$-オフセット上の表面積分のためのコアリオの公式を導出する。
• レイヤーケーク表現および最適輸送の双対性を適用し、クラスのバランスを仮定しない形で敵対的問題を輸送問題に再定式化する。

実験結果

リサーチクエスチョン

• RQ1 敵対的摂動半径 $\varepsilon$ がゼロから増加するに従い、最適敵対的分類器の意思決定境界はどのように変化するか？
• RQ2 $\ell_2$-有界摂動下における敵対的分類の最適性の必要条件は何か？
• RQ3 \varepsilon=0$ におけるベイズ分類器を、小さな $\varepsilon>0$ における最適分類器を計算する出発点として用いることができるか？
• RQ4 クラスが非バランスな場合に、敵対的分類と最適輸送の間の関係は何か？
• RQ5 幾何的発展方程式が正則性を保ち、意思決定境界の位相的変化を避けるための条件は何か？

主な発見

• 1次元では、クラス密度 $\rho_0$ および $\rho_1$ に対して弱い正則性仮定が成り立つ限り、小さな $\varepsilon$ における敵対的問題の解は、ベイズ分類器から出発する初期値問題を解くことで得られる。
• 境界点 $b_i(\varepsilon)$ および $a_i(\varepsilon)$ の発展は、$\varepsilon$-シフトされた点におけるクラス密度の導関数を含む分離されたODEに従う。
• 高次元では、初期値問題の滑らかな解の存在を仮定すれば、意思決定境界の発展は平均曲率型PDEで記述される。
• 双対性を用いて、敵対的分類問題が最適輸送問題と同等であることが示され、クラスの非バランスな場合でも有効である。
• 幾何的フローは、$\varepsilon$ に関して初期ベイズ分類器の構造を局所的に保持するが、位相的変化が生じる可能性があり、それにより大きな $\varepsilon$ では解の一意性が失われる可能性がある。
• 数値例は、$\varepsilon$ の増加に伴う意思決定境界の変化を示しており、境界の滑らかさ向上および曲率駆動型運動の理論的予測を確認している。