[論文レビュー] Are Adversarial Examples Inevitable?

Ali Shafahi, Wenhui Huang+3 more|arXiv (Cornell University)|Sep 6, 2018

Adversarial Robustness in Machine Learning参考文献 47被引用数 85

ひとこと要約

本稿は、高次元幾何学を用いてロバスト性の理論的限界を導出し、機械学習分類器において adversarial examples が根本的になかなか避けられないものであるかどうかを調査している。複雑で高次元のデータ分布において、クラス多様体が集中している場合、次元性そのものではなく、データの内在的複雑性によって adversarial examples は避けがたいものとなる。ロバスト性の限界は、データ分布の性質と摂動ノルムに強く結びついている。

ABSTRACT

A wide range of defenses have been proposed to harden neural networks against adversarial attacks. However, a pattern has emerged in which the majority of adversarial defenses are quickly broken by new attacks. Given the lack of success at generating robust defenses, we are led to ask a fundamental question: Are adversarial attacks inevitable? This paper analyzes adversarial examples from a theoretical perspective, and identifies fundamental bounds on the susceptibility of a classifier to adversarial attacks. We show that, for certain classes of problems, adversarial examples are inescapable. Using experiments, we explore the implications of theoretical guarantees for real-world problems and discuss how factors such as dimensionality and image complexity limit a classifier's robustness against adversarial examples.

研究の動機と目的

• 本稿は、機械学習分類器において adversarial examples が根本的になかなか避けられないものかどうかを調査する。
• ロバスト性の限界を規定する内在的幾何的および分布的要因を同定することを目的とする。
• 防御技術による改善ではなく、データ分布とノルム選択によってロバスト性が根本的に制限されるかどうかを特定することを目的とする。
• データの複雑さと次元性が、adversarial 攻撃への感受性を決定づける要因としてどのように作用するかを検討する。
• 特定の防御アーキテクチャに依存しない理論的限界を確立することを目的とする。

提案手法

• 著者らは、高次元幾何学における等周不等式を用いて、分類器のロバスト性に関する理論的限界を導出する。
• 画像クラスが入力空間においてどれほど集中しているかを測る濃縮尺度 Uc を定義し、Uc が大きいほどクラスの集中度が高いことを示す。
• 摂動をモデル化するために、単位球面上の正規化表面測度 µ1 と ℓp-ノルム（ℓ∞、ℓ2、ℓ0 を含む）を用いて理論的限界を導出する。
• 分析では ℓ2-ノルムと ℓ0-ノルム（スパース摂動）の両方を検討し、ノルムの選択が adversarial examples の存在に顕著に影響することを示す。
• MNIST および CIFAR-10 における実験を通じて理論的結果を検証し、自然に訓練されたモデルと adversarial に訓練されたモデルを、さまざまな画像解像度で比較する。
• adversarial examples の生成には投影勾配降下法（PGD）を用い、摂動しきい値 ϵ を変化させた状況でのロバスト性を評価する。

実験結果

リサーチクエスチョン

• RQ1 特定のデータ分布に対して、防御戦略にかかわらず adversarial examples が根本的になかなか避けられないか？
• RQ2 濃縮尺度 Uc で測定されるデータの複雑さが、adversarial ロバスト性の根本的限界にどの程度影響を与えるか？
• RQ3 次元性の増加が inherently adversarial な感受性を高めるのか、それともデータ分布がより重要なのか？
• RQ4 異なる ℓp-ノルム（ℓ∞、ℓ2、ℓ0）が、adversarial examples の存在と強度にどのように影響を与えるか？
• RQ5 高次元幾何学から導かれた理論的限界は、現実世界の分類器のロバスト性を予測できるか？

主な発見

• 単位超立方体の 1/2 exp(−πϵ²) を超える領域を占める画像クラスに対しては、ℓ2-ノルム ≤ ϵ の adversarial examples が保証的に存在する。
• 理論的分析により、クラス多様体が高濃縮（高い Uc）である場合、adversarial examples は避けがたいことが示された。
• 濃縮限界 Uc はロバスト性の主要な決定要因である：Uc が大きい（クラスがより集中）ほど感受性は低くなり、Uc が小さい（複雑で広がったクラス）ほど脆弱性が増す。
• 実験により、CIFAR-10 は big MNIST と同程度の次元性を持つにもかかわらず、Uc が低く、データの複雑さが高いため、はるかに高い感受性を示した。
• adversarial 訓練は根本的限界を排除しない。むしろ、理論が予測する理論的ロバスト性限界に分類器を押し上げる働きをする。
• 本稿は、画像解像度の向上（例：112×112 と 28×28 の MNIST）が、adversarial 感受性を根本的に高めないことを示した。ロバスト性曲線は次元性に比例してスケーリングされる。