[論文レビュー] On the Geometry of Adversarial Examples

Marc Khoury, Dylan Hadfield-Menell|arXiv (Cornell University)|Nov 1, 2018

Adversarial Robustness in Machine Learning参考文献 35被引用数 43

ひとこと要約

高次元データのマニフォールドに基づく敵対的サンプルの幾何的フレームワークを提案し、コードが随伴する要因としてコードミオンを強調、ノルムベースのロバストネスのトレードオフを証明し、最近傍とボールベース手法のサンプリング効率のギャップを示す。

ABSTRACT

Adversarial examples are a pervasive phenomenon of machine learning models where seemingly imperceptible perturbations to the input lead to misclassifications for otherwise statistically accurate models. We propose a geometric framework, drawing on tools from the manifold reconstruction literature, to analyze the high-dimensional geometry of adversarial examples. In particular, we highlight the importance of codimension: for low-dimensional data manifolds embedded in high-dimensional space there are many directions off the manifold in which to construct adversarial examples. Adversarial examples are a natural consequence of learning a decision boundary that classifies the low-dimensional data manifold well, but classifies points near the manifold incorrectly. Using our geometric framework we prove (1) a tradeoff between robustness under different norms, (2) that adversarial training in balls around the data is sample inefficient, and (3) sufficient sampling conditions under which nearest neighbor classifiers and ball-based adversarial training are robust.

研究の動機と目的

• データと敵対的摂動のマニフォールドベースモデルを形式化する。
• データの高コードミオンが敵対的摂動に対するロバストネスに与える影響を定量化する。
• ボールベースの敵対訓練とサンプリング要件の限界を示す。
• 最近傍法を含む堅牢な分類戦略を提案・分析する。

提案手法

• データを高次元空間に埋め込まれたクラス固有の低次元マニフォールドのサンプルとしてモデル化する。
• 決定軸を、マニフォールドの曲率を考慮した最大マージンの一般化として定義する。
• マニフォールド周りのepsilonチューブ状近傍の概念を導入し、これを敵対的サンプルとして表現する。
• ノルムベースのトレードオフを証明し、Lambda_2 と Lambda_infty が異なることを示し、ノルム固有のロバストネス限界を示唆する。
• epsilonロバスト性の下で最近傍学習法とボールベース学習法に対するサンプリングベースの保証を提供する。
• 合成データと MNIST の実験を用いて理論的結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 データマニフォールドと周囲空間のコードミオンの差が敵対的ロバストネスにどのように影響するか。
• RQ2 単一の決定境界が異なるノルムに対する摂動に対して頑健であり得るか、それともノルム固有のトレードオフは避けられないのか。
• RQ3 球ベースの敵対訓練法は、最近傍分類器と比較してロバスト性を達成する際にサンプル効率が良いのか。
• RQ4 高コードミオン設定において最近傍分類器はロバスト性の利点を提供するのか。

主な発見

• ノルム間にはロバストネスのトレードオフが存在し、すなわち Lambda_2 と Lambda_infty は一般に異なり、ノルム固有のロバストネス限界をもたらす。
• 訓練データの周囲のボールでの敵対訓練は、堅牢な分類を達成するにはサンプル効率が悪い。
• 領域の長く伸びた Voronoi セルにより、十分なサンプリングがあれば高いコードミオンで最近傍分類器は頑健になり得る。
• X^epsilon（ボールベースの拡張）はしばしば M^epsilon を適切にモデル化せず、標準的な敵対訓練からのロバスト性向上が限定的であることを説明する。
• 特定の構成では、最近傍法は学習アルゴリズム L より指数関数的に少ないサンプルで同じロバスト性を達成できる。
• 合成データと MNIST の実験結果は、ノルム固有のロバストネスとサンプリング効率に関する理論的主張を支持する。