[論文レビュー] Robustness of classifiers to universal perturbations: a geometric perspective

Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi+3 more|arXiv (Cornell University)|May 26, 2017

Topological and Geometric Data Analysis被引用数 45

ひとこと要約

本稿は、普遍的 adversarial パーティクルに対する深層ニューラルネットワークのロバストネスについて幾何学的分析を提供し、自然画像の意思決定境界に共通する正の曲率が、分類器をだます小さな、画像に依存しない摂動を可能にする。本稿は、普遍的摂動の存在、多様性、および転送可能性を説明する曲率に基づく理論的枠組みを導入し、入力空間における曲率方向の部分空間解析を用いた、それらを計算する新しい幾何学的手法を提案する。

ABSTRACT

Deep networks have recently been shown to be vulnerable to universal perturbations: there exist very small image-agnostic perturbations that cause most natural images to be misclassified by such classifiers. In this paper, we propose the first quantitative analysis of the robustness of classifiers to universal perturbations, and draw a formal link between the robustness to universal perturbations, and the geometry of the decision boundary. Specifically, we establish theoretical bounds on the robustness of classifiers under two decision boundary models (flat and curved models). We show in particular that the robustness of deep networks to universal perturbations is driven by a key property of their curvature: there exists shared directions along which the decision boundary of deep networks is systematically positively curved. Under such conditions, we prove the existence of small universal perturbations. Our analysis further provides a novel geometric method for computing universal perturbations, in addition to explaining their properties.

研究の動機と目的

• 最先端の深層ニューラルネットワークが、ほとんどの自然画像を誤分類する小さな、画像に依存しない摂動に対して極めて脆弱である理由を理解すること。
• 普遍的摂動に対するロバストネスと、特に曲率を含む意思決定境界の幾何的性質との間の明確な関係を形式化すること。
• 曲率に基づくモデルを用いて、普遍的摂動の存在、多様性、および転送可能性を説明する理論的枠組みを構築すること。
• 入力空間における共通する正の曲率方向に基づいて、普遍的摂動を計算する新しい幾何学的手法を提供すること。

提案手法

• 本稿は、法線ベクトル相関に基づく局所的に平坦なモデルと、2次曲率情報を組み込んだ局所的に曲がったモデルの2つの意思決定境界モデルを導入する。
• 両モデル下でのロバストネスに対する理論的限界を導出し、特定の方向に沿って共通する正の曲率があることで、小さな普遍的摂動の存在が保証されることを示す。
• 本手法は、正の曲率方向で張られる部分空間 $\mathcal{S}_c$ を特定し、この部分空間から抽出されたランダムベクトルが、極めて効果的な普遍的摂動を生成することを示す。
• 異なるネットワークの部分空間間の主角度を用いて、摂動の転送可能性を説明する。
• 実験的に、$\mathcal{S}_c$ 内のランダム摂動が、最小限の学習データ（CIFAR-10で100枚）でほぼ85％の誤分類率を達成することを示し、本手法の有効性を検証する。
• 分類器出力のヘッセ行列の幾何学的解析に基づき、曲率とロバストネスの関係を確立する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの意思決定境界のどの幾何的性質が、普遍的摂動に対して高い脆弱性を引き起こすのか？
• RQ2 意思決定境界の曲率が、小さな、普遍的で、転送可能な摂動の存在をどのように説明できるのか？
• RQ3 曲率に基づく幾何学的枠組みが、普遍的摂動を計算する新しい手法を提供できるか？
• RQ4 なぜ普遍的摂動は多様で、異なるモデル間で転送可能なのか？
• RQ5 共通する曲率方向は、深層ネットワークのロバストネスの失敗をどの程度説明できるのか？

主な発見

• 意思決定境界が特定の方向に沿って正の曲率を持つ共通部分空間 $\mathcal{S}_c$ が存在することは、小さな普遍的摂動の存在にとって必要かつ十分である。
• 100枚の学習画像のみを用いても、$\mathcal{S}_c$ からランダムに抽出された摂動はCIFAR-10でほぼ85％の誤分類率を達成し、2,000枚を必要とする最先端手法と同等の性能を示す。
• 普遍的摂動の多様性は、$\mathcal{S}_c$ から抽出されたランダムベクトル間の内積が（<0.1）非常に小さいことから説明され、それらがほぼ直交していることを示している。
• 異なるネットワーク（LeNet と NiN）の $\mathcal{S}_c$ 部分空間間の主角度が非常に小さいことから、普遍的摂動のモデル間転送可能性が説明できる。
• 曲率に基づくモデルは、深層ネットワークの普遍的摂動に対する脆弱性を説明でき、直線性や平坦性に基づく従来の仮説とは矛盾する。
• 理論的枠組みは、反復的最適化を必要とせず、効果的かつ解釈可能な新しい幾何学的手法を提供する。