[論文レビュー] Adversarial Spheres

Justin Gilmer, Luke Metz+5 more|arXiv (Cornell University)|Jan 9, 2018

Adversarial Robustness in Machine Learning参考文献 8被引用数 47

ひとこと要約

本論文は高次元の同心球データセットにおける敵対的サンプルを研究し、最近接の誤りまでの平均距離とテスト誤差の間の境界を証明し、さまざまなモデルがこの境界に近づくことを示しており、ロバストネスは一般化誤差を減らすことに依存することを示唆している。

ABSTRACT

State of the art computer vision models have been shown to be vulnerable to small adversarial perturbations of the input. In other words, most images in the data distribution are both correctly classified by the model and are very close to a visually similar misclassified image. Despite substantial research interest, the cause of the phenomenon is still poorly understood and remains unsolved. We hypothesize that this counter intuitive behavior is a naturally occurring result of the high dimensional geometry of the data manifold. As a first step towards exploring this hypothesis, we study a simple synthetic dataset of classifying between two concentric high dimensional spheres. For this dataset we show a fundamental tradeoff between the amount of test error and the average distance to nearest error. In particular, we prove that any model which misclassifies a small constant fraction of a sphere will be vulnerable to adversarial perturbations of size $O(1/\sqrt{d})$. Surprisingly, when we train several different architectures on this dataset, all of their error sets naturally approach this theoretical bound. As a result of the theory, the vulnerability of neural networks to small adversarial perturbations is a logical consequence of the amount of test error observed. We hope that our theoretical analysis of this very simple case will point the way forward to explore how the geometry of complex real-world data sets leads to adversarial examples.

研究の動機と目的

• 単純でよく定義された高次元データセットを通じて、敵対的例を動機づけ、理解する。
• 誤集合の2つの基本的な指標mu(E)と最近傍誤りまでの平均距離d(E)を定義し、関連づける。
• 高次元において小さな分類誤差がほとんどのデータ点が誤りに近接していることを示す。
• モデルアーキテクチャに依存しない敵対的ロバストネスの理論的境界を提供する。
• 実用的なニューラルネットワークがこの合成タスクにおける理論的境界に適合することを示す。

提案手法

• 半径が1とR=1.3の同心球からなるn次元の二球データ分布を研究する。
• このデータセット上でさまざまなニューラルネットワークアーキテクチャを訓練し、データ空間上の敵対的攻撃（||x||2を固定する制約付きのマニフォールドPGD）を用いてテスト誤差と誤りへの近接を評価する。
• 決定境界が楕円体となる解析的に扱いやすい二次ネットワークを定式化・解析し、敵対的例の有無の条件を導出する。
• 境界を証明する: d(E) <= O(Phi^{-1}(p)/sqrt(n))、ここでpは内側の球上の精度、Eは内側の球で誤分類された点。
• 異なるアーキテクチャのニューラルネットワークが、訓練データサイズNに応じて実務的に観察される境界に近づくことを示す。
• 二次ネットワークのα_iパラメータと推定誤差率を関連づけるために中心極限定理に基づく推定を用いる。

実験結果

リサーチクエスチョン

• RQ1 高次元におけるデータ多様体上の誤差率mu(E)と最近傍誤差までの平均距離d(E)の関係は？
• RQ2 単純な高次元の合成タスクは、モデルアーキテクチャに依存しない敵対的ロバストネスの基本的な境界を明らかにできるか？
• RQ3 異なるニューラルネットワークアーキテクチャは、mu(E)を考慮したd(E)の理論的境界に適合する決定境界を示すか？
• RQ4 このデータセットでテスト誤差を減らさずに敵対的ロバストネスを改善することは可能か？

主な発見

• ランダムに選ばれた多くの点を正しく分類するモデルが、データ多様体上で近くに誤分類（敵対的例）を持つことがある。
• このデータセットでは、内側の球の小さな定数分を誤分類するモデルは、敵対的摂動の大きさがO(1/√n)になる。
• このデータセットで訓練された様々なアーキテクチャのニューラルネットワークは、mu(E)とd(E)を結ぶ理論的境界に近づく。
• 対になる解析形をもつ二次ネットワークは、パラメータの不完全な整合（alpha_iが [1/R^2,1] の外）で敵対的例を引き起こすことを示し、経験的なテスト誤差が極小でもそうなる。
• d(E)の境界は推定でき、観測されたmu(E)に対して厳密であり、ロバストネスを向上させるにはmu(E)を大幅に減らす必要がある。
• mu(E)とd(E)の観測関係は異なるアーキテクチャ間で類似しており、アーキテクチャ特有の現象よりも幾何学に基づく境界を示唆している。