[論文レビュー] Classification regions of deep neural networks

Alhussein Fawzi, Seyed-Mohsen Moosavi-Dezfooli+2 more|arXiv (Cornell University)|May 26, 2017

Adversarial Robustness in Machine Learning参考文献 17被引用数 31

ひとこと要約

この論文は、入力空間における深層ニューラルネットワークの意思決定境界の幾何的性質を分析し、分類領域が連結であり、意思決定境界が主に平坦であるが、わずかに曲がった方向が存在することを明らかにした。また、曲率に根本的な非対称性が存在し、その非対称性により、再訓練を伴わずに小さな adversarial パーティクルを正確に特定し、場合によっては元のラベルを回復できる幾何的検出手法を提案した。

ABSTRACT

The goal of this paper is to analyze the geometric properties of deep neural network classifiers in the input space. We specifically study the topology of classification regions created by deep networks, as well as their associated decision boundary. Through a systematic empirical investigation, we show that state-of-the-art deep nets learn connected classification regions, and that the decision boundary in the vicinity of datapoints is flat along most directions. We further draw an essential connection between two seemingly unrelated properties of deep networks: their sensitivity to additive perturbations in the inputs, and the curvature of their decision boundary. The directions where the decision boundary is curved in fact remarkably characterize the directions to which the classifier is the most vulnerable. We finally leverage a fundamental asymmetry in the curvature of the decision boundary of deep nets, and propose a method to discriminate between original images, and images perturbed with small adversarial examples. We show the effectiveness of this purely geometric approach for detecting small adversarial perturbations in images, and for recovering the labels of perturbed images.

研究の動機と目的

• 深層ニューラルネットワークにおける分類領域および意思決定境界の幾何的構造を理解すること。これは、モデルの挙動に重要な役割を果たすが、依然として十分に理解されていない。
• 自然画像周辺での意思決定境界の曲率を調査し、モデルのロバストネスおよび adversarial 脆弱性に与える影響を明らかにすること。
• 意思決定境界の幾何的性質が、再訓練なしに小さな adversarial パーティクルからの検出および回復に利用可能かどうかを検討すること。
• 入力への摂動に対する感度と、入力空間における意思決定境界の曲率との間の関係を確立すること。
• 曲率非対称性に基づいて、完全に幾何的かつトレーニング不要な方法で adversarial 例を検出し、是正する手法を開発すること。

提案手法

• 入力空間内での同一ラベルのデータポイント間を結ぶ連続的経路を用いて、分類領域のトポロジーを実験的に分析する。
• 入力点における異なる方向の曲率を推定するため、関数 $ F(\boldsymbol{z}) = f_i(\boldsymbol{z}) - f_j(\boldsymbol{z}) $ のヘッセ行列を計算する。
• ヘッセ行列に対する主成分分析を用いて、曲率の主要な方向を同定し、自然画像全体にわたるその分布を定量化する。
• 意思決定境界における正の曲率の大きさを測定することで adversarial 例を検出する：高い正の曲率は摂動を加えられた入力を示す。
• 閾値ベースの検出アルゴリズム（アルゴリズム 2）を適用し、曲率非対称性に基づいて入力を元のものか摂動済みかに分類する。ラベル回復は、最も正の曲率を持つクラスに基づいて行う。
• すべてのペアワイズ意思決定境界にわたる曲率統計を平均化することで、多クラス設定への拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークが学習する分類領域は、入力空間においてトポロジカルに連結であるか？
• RQ2 自然画像の周囲における意思決定境界の曲率は、異なる方向でどのように変化するか。また、異なるデータポイント間で共通する曲がった方向は存在するか？
• RQ3 意思決定境界の曲率に根本的な非対称性が存在し、adversarial 脆弱性と相関しているか？
• RQ4 曲率の幾何的非対称性を活用することで、摂動済みデータの学習なしに小さな adversarial パーティクルを検出可能か？
• RQ5 摂動された画像の元のラベルは、意思決定境界の幾何的性質のみを用いて回復可能か？

主な発見

• 実験的証拠により、最先端の深層ネットワークの分類領域は連結であることが示された。つまり、同じクラスに属する任意の二点の間に連続的な経路が存在する。
• 自然画像周辺の意思決定境界は、ほとんどの方向で平坦であるが、わずかに曲率が顕著な方向が存在する。
• 意思決定境界の曲率には根本的な非対称性が存在する：負の曲率が支配的であり、最も曲がった方向は異なるデータポイント間で共有されている。
• 入力への摂動に対する感度は曲率と強く相関している。モデルは、わずかに曲がった方向では最も脆弱であり、平坦な方向では頑健である。
• 提案された曲率に基づく検出手法は、最適な閾値設定を用いた場合、GoogLeNet において adversarial 例の検出で 95% 以上の正確性を達成した。
• この手法は、摂動された画像に適用した際、GoogLeNet では正しく元のラベルを回復する正確性が 92%、CaffeNet では 88%、VGG-19 では 74% を達成した。