[論文レビュー] Spatially Transformed Adversarial Examples

Chaowei Xiao, Jun-Yan Zhu+4 more|arXiv (Cornell University)|Jan 8, 2018

Advanced Malware Detection Techniques被引用数 240

ひとこと要約

この論文は、ピクセル値の変化ではなく空間変換（フロー場）を介して生成された敵対的事例を提案し、高い知覚リアリズムと標準的防御に対する耐性を示す。

ABSTRACT

Recent studies show that widely used deep neural networks (DNNs) are vulnerable to carefully crafted adversarial examples. Many advanced algorithms have been proposed to generate adversarial examples by leveraging the $\mathcal{L}_p$ distance for penalizing perturbations. Researchers have explored different defense methods to defend against such adversarial attacks. While the effectiveness of $\mathcal{L}_p$ distance as a metric of perceptual quality remains an active research area, in this paper we will instead focus on a different type of perturbation, namely spatial transformation, as opposed to manipulating the pixel values directly as in prior works. Perturbations generated through spatial transformation could result in large $\mathcal{L}_p$ distance measures, but our extensive experiments show that such spatially transformed adversarial examples are perceptually realistic and more difficult to defend against with existing defense systems. This potentially provides a new direction in adversarial example generation and the design of corresponding defenses. We visualize the spatial transformation based perturbation for different examples and show that our technique can produce realistic adversarial examples with smooth image deformation. Finally, we visualize the attention of deep networks with different types of adversarial examples to better understand how these examples are interpreted.

研究の動機と目的

• Lpピクセル空間の歪みを超える摂動の探索を動機づける。
• 局所的な空間歪みを最小化しつつ誤分類を達成する幾何学的攻撃を導入する。
• MNIST、CIFAR-10、ImageNet に渡る空間的に変形された敵対的例の知覚的リアリズムを示す。
• stAdv摂動下での防御の堅牢性と注意機構を分析する。

提案手法

• 敵対的摂動を、per-pixel flow field f が bilinear interpolation により敵対的画像のピクセルを元の画像のピクセルへ写像するとして表現する。
• 誤分類損失と flow 正則化項を組み合わせて、滑らかで局所的な変形を促す攻撃目的を定義する。
• 特定標的攻撃のために Carlini-Wagner スタイルの損失を用いて g(x_adv) を指定されたターゲットクラスへ最適化する。
• 局所的に滑らかな変形を強制する total-variation に類似した損失で flow を正則化する (L_flow)。
• L-BFGS とバックトラッキングを用いて敵対的画像を生み出す最適な flow field を最適化する。
• 局所性とエッジ志向の歪みを示すため flow field を可視化する。

実験結果

リサーチクエスチョン

• RQ1 空間的に変形された摂動は、知覚的リアリズムを維持しながら分類器の精度を低下させることができるか。
• RQ2 stAdv 敵対的例は FGSM、C&W、 adversarial training を含む標準的な防御に対してどのように性能を発揚するか。
• RQ3 stAdv 摂動はネットワークにおける注意の移動を生み出すか、堅牢なモデルはどのように応答するか。

主な発見

• stAdv は MNIST、CIFAR-10、ImageNet において、ピクセル値を変更するのではなく画像を滑らかに変形させることで知覚的にリアルな敵対的例を生成する。
• 最適化された flow field は局所的に滑らかで、しばしば物体のエッジや認識にとって重要な領域に焦点を当てる。
• stAdv は高い攻撃成功率を達成し、 adversarial training の派生など、いくつかの防御戦略に対して依然として難しいままである。
• CAM 可視化は stAdv がネットワークの注意を再配分できることを示し、堅牢なモデルは stAdv 攻撃に対して依然として脆弱性を示す。
• Mean blur 防御は他の攻撃と比較して stAdv に対する保護が限定的であり、適応攻撃は堅牢性の脆弱性を回復し得る。