[論文レビュー] A Simple Explanation for the Existence of Adversarial Examples with Small Hamming Distance

Adi Shamir, Itay Safran+2 more|arXiv (Cornell University)|Jan 30, 2019

Adversarial Robustness in Machine Learning参考文献 27被引用数 70

ひとこと要約

この論文は、狙いを定めた敵対的例が小さな L0（ハミング）距離で高次元の分割線付きニューラルネットワークに自然に現れる理論的枠組みを示し、MNIST 実験によってアイデアを検証しています。m クラスの場合、m+1 座標内で有効な敵対的変化が生じることを確認しています。

ABSTRACT

The existence of adversarial examples in which an imperceptible change in the input can fool well trained neural networks was experimentally discovered by Szegedy et al in 2013, who called them "Intriguing properties of neural networks". Since then, this topic had become one of the hottest research areas within machine learning, but the ease with which we can switch between any two decisions in targeted attacks is still far from being understood, and in particular it is not clear which parameters determine the number of input coordinates we have to change in order to mislead the network. In this paper we develop a simple mathematical framework which enables us to think about this baffling phenomenon from a fresh perspective, turning it into a natural consequence of the geometry of $\mathbb{R}^n$ with the $L_0$ (Hamming) metric, which can be quantitatively analyzed. In particular, we explain why we should expect to find targeted adversarial examples with Hamming distance of roughly $m$ in arbitrarily deep neural networks which are designed to distinguish between $m$ input classes.

研究の動機と目的

• 高次元の部分線形分類器の自然な副産物として、L0 のハミング距離が小さい敵対的例が現れる理由を説明する。
• ニューラルネットワークにおける指定領域間の移動に必要な入力座標数を定量的に分析する。
• 理論的境界と MNIST 実験を通じて、m クラスを区別する場合、任意の2つのクラス領域間を移動するには約 m 座標を変更すれば足りることを示す。

提案手法

• ReLU 活性化によって誘発される部分線形写像としてニューラルネットワークをモデル化する。
• R^n を m 個の超平面で分割する解析を行い、疎な摂動が一点を別のセルへ移動させうる条件（L0 距離の測度）を導出する。
• ランダム風の超平面配置では、n が m に対して大きい場合、座標を2つ変更するだけで十分である可能性が高いことを証明する。
• ターゲットクラスへ出力を誘導するよう約 m 座標を摂動する基本アルゴリズムを提案し、硬い/柔らい失敗を回避する改良されたランダム化版を提案する。
• MNIST を用いて、m クラスを区別するネットワークに対して、距離が m+1 の敵対的例が存在することを実験的に検証する。

実験結果

リサーチクエスチョン

• RQ1 高次元の部分線形ネットワークにおいて、あるクラス領域から別のクラス領域へ移動するためには入力座標をいくつ変更すればよいのか？
• RQ2 小さな L0（ハミング）摂動で、m クラスを跨いだ標的誤分類を実現できるか、またそれは n と m によってどうスケールするか？
• RQ3 このような標的型敵対的例を構築するアルゴリズムを設計できるか、成功/失敗のモードは何か？

主な発見

• R^n を m 本の線形分離子で分割したとき、部分的な Perturbation（最大 k 座標の変更）で別のラベル付き領域に到達できるのは、希望する正八列を含む疎な組み合わせの列が存在する場合であり、k=2 の場合は n が m に対して中程度の相対的な場合に起こりやすい。
• MNIST（n=784, m=10）では、11 ピクセル（m+1）を変更して数字を任意の他の数字に切替えられる敵対的例が得られることを実験で示し、実務的に m+1 の境界を確認。
• 理論的境界は、n が大きい典型的な設定では、約 m 座標を変更するだけで、分割内の任意の2つの領域を移動でき、標的攻撃を可能にすることを示唆する。
• 確率的な改善（m+1 座標へ変更する）がハード/ソフトな失敗を回避し、敵対的例をより信頼性高く見つけるのに役立つ。
• この結果は、ピースワイズ線形性を保持することやネットワークの深さを増やすことだけに依存する防御が、低ハミング距離の標的型敵対的例に対して依然として脆弱であり得ることを示唆する。