[論文レビュー] Universal adversarial perturbations

Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi+2 more|arXiv (Cornell University)|Oct 26, 2016

Adversarial Robustness in Machine Learning参考文献 19被引用数 90

ひとこと要約

この論文では、ほぼすべての自然画像上で最先端の深層ニューラルネットワークをだます、小さな画像に依存しない摂動（摂動）であるユニバーサル adversarial perturbations を導入している。著者らは、このような摂動を生成する反復的アルゴリズムを提案し、画像およびネットワークアーキテクチャの両方に対して一般化することを示した。これにより、深層ネットワークの意思決定境界に強い幾何的相関が存在することが明らかになった。

ABSTRACT

Given a state-of-the-art deep neural network classifier, we show the existence of a universal (image-agnostic) and very small perturbation vector that causes natural images to be misclassified with high probability. We propose a systematic algorithm for computing universal perturbations, and show that state-of-the-art deep neural networks are highly vulnerable to such perturbations, albeit being quasi-imperceptible to the human eye. We further empirically analyze these universal perturbations and show, in particular, that they generalize very well across neural networks. The surprising existence of universal perturbations reveals important geometric correlations among the high-dimensional decision boundary of classifiers. It further outlines potential security breaches with the existence of single directions in the input space that adversaries can possibly exploit to break a classifier on most natural images.

研究の動機と目的

• 1つの固定された摂動ベクトルを用いて、広範な自然画像の多くを誤分類できるような、小さなユニバーサル摂動の存在を調査すること。
• 個々の画像の最適化を必要とせず、このようなユニバーサル摂動を効率的に計算するアルゴリズムを開発すること。
• 異なる深層ニューラルネットワークアーキテクチャにわたるユニバーサル摂動の一般化特性を分析すること。
• ユニバーサル摂動の存在と頑健性を説明する、深層ニューラルネットワークの意思決定境界における幾何的相関を解明すること。

提案手法

• 特定のデータポイントを分類器の意思決定境界に押し込むように設計された、原子的な摂動ベクトルを蓄積する反復的アルゴリズムを提案する。
• 個々の画像の局所的 adversarial 摂動を勾配ベースで計算し、反復的精錬によってそれらを統合してユニバーサル摂動を生成する。
• 意思決定境界への正規化された法線ベクトルの行列に対して特異値分解（SVD）を適用し、データポイント間の幾何的相関を捉える低次元部分空間を同定する。
• 意思決定境界の法線ベクトルの主要部分空間内での方向を選択し、未学習の画像に対して高いだます率を達成するようにユニバーサル摂動を構築する。
• ImageNetで学習されたモデルを用いて手法を検証し、訓練画像のサブセットを用いて摂動を計算し、別個のテストセットを用いて一般化性能を評価する。
• 低次元部分空間内のランダムな方向と最適化されたユニバーサル摂動の性能を比較し、だます率における優位性を示す。

実験結果

リサーチクエスチョン

• RQ1 1つの小さな摂動ベクトルを構築できるか。その摂動は、自然画像の大部分に対して深層ニューラルネットワークを誤分類させるか。
• RQ2 提案されたアルゴリズムは、個々の画像の最適化を必要とせずに、このようなユニバーサル摂動をどのように効率的に計算するか。
• RQ3 ユニバーサル摂動は、異なる深層ニューラルネットワークアーキテクチャにどの程度一般化されるか。
• RQ4 意思決定境界のどの幾何的性質が、ユニバーサル摂動の存在と頑健性を説明するか。
• RQ5 多様な自然画像にわたる意思決定境界の法線ベクトルを捉える、入力空間内の低次元部分空間が存在するか。

主な発見

• ユニバーサル摂動は、非常に小さく人間の目にはほとんど見えないにもかかわらず、最先端の深層ニューラルネットワークを高い確率で誤分類させることが可能である。
• 提案された反復的アルゴリズムは、保持されたテストセットにおいて約38％のだます率を達成するユニバーサル摂動を効果的に計算できた。
• ユニバーサル摂動は異なるニューラルネットワークアーキテクチャに顕著に一般化され、画像に依存しないだけでなくネットワークに依存しない「二重にユニバーサル」である。
• 意思決定境界の法線ベクトルに対する特異値解析により、ほとんどの幾何的相関を捉える低次元部分空間（d' ≪ d）が同定され、ユニバーサル摂動の存在を説明する。
• 同定された低次元部分空間内でのランダムな摂動は、ほぼ38％のテスト画像をだますことができ、ランダム摂動がたった10％のだます率しか達成できないのと比べて顕著に優れている。
• このような摂動の存在は、意思決定境界に強い幾何的相関が存在するため、深層ニューラルネットワークに根本的な脆弱性が存在することを示唆している。