[論文レビュー] Adversarial vulnerability for any classifier

Alhussein Fawzi, Hamza Fawzi+1 more|arXiv (Cornell University)|Feb 23, 2018

Adversarial Robustness in Machine Learning被引用数 47

ひとこと要約

本論文は、滑らかな生成データモデルの下で分類器に依存しない頑健性の境界を導出し、敵対的撹乱の転送性を示し、分布内の頑健性と制約なしの頑健性を実証的にSVHNとCIFAR-10で関連付ける。

ABSTRACT

Despite achieving impressive performance, state-of-the-art classifiers remain highly vulnerable to small, imperceptible, adversarial perturbations. This vulnerability has proven empirically to be very intricate to address. In this paper, we study the phenomenon of adversarial perturbations under the assumption that the data is generated with a smooth generative model. We derive fundamental upper bounds on the robustness to perturbations of any classification function, and prove the existence of adversarial perturbations that transfer well across different classifiers with small risk. Our analysis of the robustness also provides insights onto key properties of generative models, such as their smoothness and dimensionality of latent space. We conclude with numerical experimental results showing that our bounds provide informative baselines to the maximal achievable robustness on several datasets.

研究の動機と目的

• 滑らかな生成モデルによってデータが生成される場合、任意の分類器の頑健性の限界を動機づけて定量化する。
• 分類を変更するのに必要な最小撹乱の上界を導出する（分布内と無制約の場合）。
• 敵対的撹乱の分類器間の転送性を確立する。
• 分布内の頑健性と無制約頑健性および潜在空間撹乱を関連付ける。
• 標準データセット上で理論境界を位置づける実証的ベンチマークを提供する。

提案手法

• z ~ N(0,I_d) を用いて滑らかな生成器 g: Z -> X によるデータ生成をモデル化する。
• 分布内頑健性 r_in と無制約頑健性 r_unc を、それぞれの制約の下でラベルを反転させる最小撹乱として定義する。
• x = g(z) に対して r_in(x) <= η となる確率を Gaussian isoperimetric inequality を用いて上界する。
• g の連続性のモジュラス ω を導入して滑らかさを捉え、η を ω^{-1} を通じて摂動サイズと関連付ける。
• g(z) に対するリスクが小さい場合、分類器間で転送可能な撹乱が存在することを証明する。
• Wasserstein 本質で近似生成器に対して境界を拡張し W(g_*(ν), μ) ≤ δ を満たすときの期待頑健性境界を導出する。
• 潜在空間撹乱と画像空間撹乱の構成的な結びつき (r_Z 対 r_in/r_unc) を提供する。

実験結果

リサーチクエスチョン

• RQ1 滑らかな生成モデルによってデータが生成されるとき、敵対的撹乱に対する分類器に依存しない基本的な頑健性境界は何か？
• RQ2 このデータモデル下で敵対的撹乱は異なる分類器間で転送されるか？
• RQ3 滑らかな生成モデル下で分布内頑健性と無制約頑健性はどのように関連するか？
• RQ4 真のデータへの Wasserstein 距離を含む生成器の近似誤差が頑健性境界に与える影響は？
• RQ5 これらの境界が、より頑健な生成モデルと分類器の設計にどのような洞察を提供するか？

主な発見

• 潜在空間が高次元で生成器が滑らかである場合、多くの点が分布内撹乱に対して小さな頑健性を示すという上界を示す。
• 等確率クラスの場合、境界は引き締まり、クラス数 K が増えると大きくなる。クラスが多いほど惑わせやすいことを示す。
• 敵対的撹乱は、分類器の結合リスクが小さい場合に転送でき、分類器の不一致を表す δ 項を含む境界で定量化される。
• 分類器が最近傍法の構成により変換される場合、その無制約頑健性は分布内頑健性の少なくとも半分である。
• SVHNとCIFAR-10の実験結果は、境界が非自明なベースラインを提供し、潜在空間頑健性が画像空間の結果と同等であることを示す。分布内と無制約頑健性のギャップはモデルの複雑性に応じて変化する。
• 結果は、高次元で滑らかな生成モデルは、人間の知覚頑強性の制約が満たされない限り、どの識別タスクも非常に小さな撹乱で欺く可能性を示唆している。