[論文レビュー] Synthesizing Robust Adversarial Examples

Anish Athalye, Logan Engstrom+2 more|arXiv (Cornell University)|Jul 24, 2017

Adversarial Robustness in Machine Learning参考文献 33被引用数 684

ひとこと要約

本論文は、変換の分布に対して頑健な対向例を合成する一般的な枠組みである Expectation Over Transformation (EOT) を提示し、物理世界で分類器を騙す2Dおよび3Dの対向オブジェクトを示す。

ABSTRACT

Standard methods for generating adversarial examples for neural networks do not consistently fool neural network classifiers in the physical world due to a combination of viewpoint shifts, camera noise, and other natural transformations, limiting their relevance to real-world systems. We demonstrate the existence of robust 3D adversarial objects, and we present the first algorithm for synthesizing examples that are adversarial over a chosen distribution of transformations. We synthesize two-dimensional adversarial images that are robust to noise, distortion, and affine transformation. We apply our algorithm to complex three-dimensional objects, using 3D-printing to manufacture the first physical adversarial objects. Our results demonstrate the existence of 3D adversarial objects in the physical world.

研究の動機と目的

• 実世界の変換（視点、照明、ノイズ）を生き抜く対向例の必要性を動機づける。
• 変換の分布にわたって対向入力を最適化する一般的な枠組み（EOT）を導入する。
• 頑健な2D対向画像と3Dテクスチャ付きオブジェクトの合成を実演し、3Dプリントによる物理的製作を含む。
• 頑健な対向オブジェクトが物理世界のさまざまな視点で分類器を欺くことができることを示す。

提案手法

• Expectation Over Transformation (EOT) を導入する: 変換の分布 T にわたってターゲットクラスの対数確率の期待値を最大化する。
• 目的関数を次のように定義する: argmax_x' E_{t~T}[log P(y_t|t(x'))]、制約として E_{t~T}[d(t(x'),t(x))] < ε を満たす。ここで d は知覚距離。
• 各 SGD ステップで変換を確率的にサンプリングして期待値の勾配を近似し、変換を微分する。
• LAB 色空間での知覚距離項と目的を結合するラグランジュ緩和形を用い、不可知性を促す。
• 2D ではアフィン様の変換（回転、平行移動、ノイズ、照明）で T をモデル化する。3D ではテクスチャを入力として扱い、ポーズ分布の下でそのビューをレンダリングし、レンダリング過程を微分する。
• 3D モデル上のテクスチャに EOT を適用して物理的な3D対向オブジェクトを製作し、印刷を行い、現実世界の印刷と照明の変動を考慮する。

実験結果

リサーチクエスチョン

• RQ1 実世界の変換の分布に対して対向例を頑健にすることは可能か？
• RQ2 EOT フレームワークは、さまざまな視点と照明下でも対向性を保つ2Dおよび3Dの対向入力を合成できるか？
• RQ3 さまざまなポーズと条件にわたり分類器を欺く物理的な3Dオブジェクトを製作することは可能か？
• RQ4 知覚距離（LAB）と変換分布が摂動の大きさと頑健性にどう影響するか？

主な発見

• 2Dの対向例は1000個のランダムな変換に対して高い頑健性を達成できる（平均対向性 約96.4%）。
• 3D テクスチャ付きオブジェクトは100個のランダムなポーズにわたり対向性を持たせることができ、平均対向性は約83.4%。
• 印刷された2つの3Dオブジェクト（カメと野球ボール）は、現実のテストで広い視点分布にわたり対向性を維持（例: カメは100枚の写真中82%の対向性）。
• 本手法は入力変換に基づく防御が頑健な対向例を確実に止められないことを示す（EOT はいくつかの防御を回避可能）。
• 印刷の色の不正確さと照明の変動を変換分布にモデル化したが、それでも頑健な対向オブジェクトが作成された。