[論文レビュー] Lower Bounds on Adversarial Robustness from Optimal Transport

Arjun Nitin Bhagoji, Daniel Cullina+1 more|arXiv (Cornell University)|Sep 26, 2019

Adversarial Robustness in Machine Learning被引用数 34

ひとこと要約

この論文は敵対的ロバスト性と最適輸送を結びつけ、テスト時の回避による0-1損失に関する下界を導出し、ガウスの場合の最適性とサンプル複雑性の結果を提供し、MNIST、Fashion-MNIST、CIFAR-10に関する経験的境界も示す。

ABSTRACT

While progress has been made in understanding the robustness of machine learning classifiers to test-time adversaries (evasion attacks), fundamental questions remain unresolved. In this paper, we use optimal transport to characterize the minimum possible loss in an adversarial classification scenario. In this setting, an adversary receives a random labeled example from one of two classes, perturbs the example subject to a neighborhood constraint, and presents the modified example to the classifier. We define an appropriate cost function such that the minimum transportation cost between the distributions of the two classes determines the minimum $0-1$ loss for any classifier. When the classifier comes from a restricted hypothesis class, the optimal transportation cost provides a lower bound. We apply our framework to the case of Gaussian data with norm-bounded adversaries and explicitly show matching bounds for the classification and transport problems as well as the optimality of linear classifiers. We also characterize the sample complexity of learning in this setting, deriving and extending previously known results as a special case. Finally, we use our framework to study the gap between the optimal classification performance possible and that currently achieved by state-of-the-art robustly trained neural networks for datasets of interest, namely, MNIST, Fashion MNIST and CIFAR-10.

研究の動機と目的

• 敵対的ロバスト性の回避設定における根本的限界の理解を動機づける。
• 適切なコスト関数を介して敵対的分類と最適輸送を結ぶ枠組みを定義する。
• 敵対的摂動の下で分類器が達成可能な最小0-1損失の下界を導出する。
• ガウスデータの場合を特徴づけ、ノルム制約を受ける敵に対して線形分類器の最適性を確立する。
• 実データセット（MNIST、Fashion-MNIST、CIFAR-10）に対して境界を評価し、頑健に訓練されたモデルと比較する。

提案手法

• 摂動の近傍制約を符号化する敵対コスト c_N を定義する。
• 敵対的ロバスト性を、クラス分布間の最適輸送コスト C_N∘C_N^⊤ と結びつける。
• 最小実現可能な0-1損失が (1−2 inf_h L(N,h,P)) = (C_N∘C_N^⊤)(P_X1,P_X−1) に等しいことを証明する。
• 平均が分離されたガウスデータに対して線形分類器が最適であり、頑健性の境界を与える凸計画式（式4）を導出し、その解が頑健性の境界を与える。
• アルファ*(β,μ) の最適化と Q-function への結びつきを介し、ガウス場面の explicit な結果を示す（定理2）。
• ガウス設定におけるサンプル複雑性の境界を導出する（定理3）。
• MNIST、Fashion-MNIST、CIFAR-10 に対して輸送ベースの下界を経験的に計算し、頑健モデルと比較する。

実験結果

リサーチクエスチョン

• RQ1 特定の摂動予算の下で、敵対的に摂動されたデータに対する最小の0-1損失はどれくらいか。
• RQ2 最適輸送理論は任意の分布にわたる敵対的ロバスト性をどのように境界化できるか。
• RQ3 ガウス設定で、敵対的ロバスト性に対して線形分類器は最適か、予算は最適分類器にどう影響するか。
• RQ4 ガウス仮定の下で頑健な分類器を学ぶためのサンプル複雑性はいくつか。
• RQ5 輸送ベースの下界は標準データセット（MNIST、Fashion-MNIST、CIFAR-10）上の頑健に訓練されたモデルとどのように比較されるか。

主な発見

• 敵対的リスクの最小値は、敵対的制約の下でクラス条件分布間の最適輸送コストの1−2倍の値を用いて表される。
• ノルム制約付きのガウスデータに対して線形分類器は最適であり、頑健性の上界と下界が一致する。
• アルファ*, β, μ を含む凸計画式が頑健性の境界を特徴づけ、Q-function との結びつきにより primalと dual 解の一致を支配する。
• データと敵のノルムが一致する（例：Sigma-norm と B-norm）場合、予算に関係なく最適分類器は同じままであり、ノルムが異なると健常精度と頑健性のトレードオフが生じる。
• 本論は意味論的に既存境界と整合する、あるいはそれを拡張する形で、平均に対するベイズ／ガウス priors を用いたサンプル複雑性の結果を導出する。
• MNIST、Fashion-MNIST、CIFAR-10 に対する経験的境界は、現行の頑健モデルと理論的下界との間にギャップを示し、敵対的予算が大きくなるほどそのギャップが拡大する。