[論文レビュー] Robustness of classifiers to uniform $\ell\_p$ and Gaussian noise

Jean-Yves Franceschi, Alhussein Fawzi+1 more|arXiv (Cornell University)|Feb 22, 2018

Adversarial Robustness in Machine Learning参考文献 19被引用数 9

ひとこと要約

この論文は、入力データから意思決定境界までの距離と関連付けることで、一様 ℓp およびガウスノイズに対する分類器のロバストネスの理論的限界を確立している。ランダム重みを備えた線形分類器では、ロバストネスはこの距離に √d を乗じたものに比例する。理論は、局所的に平坦な意思決定境界を示す深層ニューラルネットワークへと拡張され、最先端のモデルを用いた実験によって裏付けられている。

ABSTRACT

We study the robustness of classifiers to various kinds of random noise models. In particular, we consider noise drawn uniformly from the $\ell\_p$ ball for $p \in [1, \infty]$ and Gaussian noise with an arbitrary covariance matrix. We characterize this robustness to random noise in terms of the distance to the decision boundary of the classifier. This analysis applies to linear classifiers as well as classifiers with locally approximately flat decision boundaries, a condition which is satisfied by state-of-the-art deep neural networks. The predicted robustness is verified experimentally.

研究の動機と目的

• ランダムノイズ、特に任意の共分散を有する一様 ℓp およびガウスノイズに対する分類器のロバストネスを定量化すること。
• 線形および非線形分類器について、意思決定境界までの距離を用いてロバストネスを特徴づけること。
• 二値分類設定からの理論的結果を多値分類設定へと拡張すること。
• 深層ニューラルネットワークにおける理論的限界を、実験的に検証すること。
• 提案されたフレームワークを用いて、画像量子化に対する深層ネットワークの高いロバストネスを説明すること。

提案手法

• ロバストネスを、摂動を加えた入力が確率的に ≥ ε の確率で予測ラベルを変更するような最小のノイズスケール α として定義する。
• p ∈ [1, ∞] の ℓp ボール上の一様ノイズを用い、スパース（p=1）から密（p=∞）なノイズ領域をモデル化する。
• 任意の共分散行列 Σ を用いて相関のあるガウスノイズをモデル化する。
• 集中不等式と ℓp および ℓp′ ノルムの双対性を用いて、ロバストネスの上界および下界を導出する。
• 和集合の不等式とノルムの比較を用い、二値分類から多値分類設定への一般化を実現する。
• 深層ネットワークの局所的にほぼ平坦な意思決定境界の性質を活用し、線形モデルの結果を非線形モデルへと拡張する。

実験結果

リサーチクエスチョン

• RQ1 線形分類器において、一様 ℓp ノイズに対するロバストネスは、意思決定境界までの距離にどのように依存するか？
• RQ2 ℓp ノイズにおける p の選択が分類器のロバストネスに与える影響は何か？
• RQ3 相関のあるガウスノイズに対するロバストネスは、分類器の重み構造と入力次元にどのように依存するか？
• RQ4 ランダムノイズ下での深層ニューラルネットワークのロバストネスは、意思決定境界までの距離を用いて予測可能か？
• RQ5 深層ネットワークが画像量子化に対して高いロバストネスを示す理由は何か？この現象は提案されたノイズモデルで説明可能か？

主な発見

• ランダム線形分類器では、一様 ℓp ノイズに対するロバストネスは、定数を除き、意思決定境界までの距離に √d を乗じたものに比例する。
• 任意の共分散行列を有するガウスノイズに対しても、同様の条件下でロバストネスは √d および境界までの距離に比例する。
• 実験により、最先端の深層ニューラルネットワークのランダムノイズ下でのロバストネスが、理論的限界により正確に予測されることを確認した。
• モデルは、実証的観察と整合的である、深層ネットワークの画像量子化に対する高いロバストネスを説明できる。
• 誤差閾値 ε は、L 個のクラスに対して和集合の不等式を用いて ε/(L−1) に調整可能であり、多値設定に対しても限界が頑健である。
• 従来の ℓ2 ロバストネスに関する研究を、スパースおよび相関のあるノイズを含む広範なノイズ領域へと一般化した。