[論文レビュー] Adversarial Attacks Beyond the Image Space

Xiaohui Zeng, Chenxi Liu+6 more|arXiv (Cornell University)|Nov 20, 2017

Adversarial Robustness in Machine Learning参考文献 48被引用数 11

ひとこと要約

本稿では、2D画像のピクセルレベルの摂動ではなく、表面法線、照明、素材といった3D物理的特性を標的とする adversarial 攻撃を紹介する。異なる可微分性を持つレンダラを深層ネットワークに統合することで、著者らは物理空間における攻撃が可能であることを示したが、画像空間の攻撃と比較してはるかに重い摂動を要し、成功確率も低い。

ABSTRACT

Generating adversarial examples is an intriguing problem and an important way of understanding the working mechanism of deep neural networks. Most existing approaches generated perturbations in the image space, i.e., each pixel can be modified independently. However, in this paper we pay special attention to the subset of adversarial examples that correspond to meaningful changes in 3D physical properties (like rotation and translation, illumination condition, etc.). These adversaries arguably pose a more serious concern, as they demonstrate the possibility of causing neural network failure by easy perturbations of real-world 3D objects and scenes. In the contexts of object classification and visual question answering, we augment state-of-the-art deep neural networks that receive 2D input images with a rendering module (either differentiable or not) in front, so that a 3D scene (in the physical space) is rendered into a 2D image (in the image space), and then mapped to a prediction (in the output space). The adversarial perturbations can now go beyond the image space, and have clear meanings in the 3D physical world. Though image-space adversaries can be interpreted as per-pixel albedo change, we verify that they cannot be well explained along these physically meaningful dimensions, which often have a non-local effect. But it is still possible to successfully attack beyond the image space on the physical space, though this is more difficult than image-space attacks, reflected in lower success rates and heavier perturbations required.

研究の動機と目的

• 深層ニューラルネットワークが2D画像ピクセルではなく、3D物理的シーンパラメータに直接適用された場合、依然として adversarial 攻撃の影響を受けるかどうかを調査すること。
• レンダリングモジュールを介して3D物理的パラメータ（例：照明、素材、法線）を2D画像出力に変換するフレームワークを構築し、物理空間における勾配ベースの攻撃を可能にすること。
• 物体分類および視覚的質問応答タスクにおける、このような攻撃の実現可能性と耐性を評価すること。
• 防御機構に与える影響を検討すること、特に画像空間の摂動を中和するための物理空間での再レンダリングを検討すること。

提案手法

• 最先端の深層ニューラルネットワークの前に、可微分または非可微分のレンダリングモジュールを統合し、3D物理的パラメータを2D画像出力にマッピングすること。
• 可微分レンダリングでは反復的 Fast Gradient Sign Method (FGSM) を、非可微分レンダリングでは Zeroth-Order Optimization (ZOO) を用いて勾配ベースの adversarial 攻撃を実行すること。
• 画像強度空間における摂動を制約し、視認不可能性を確保する。視認不可能性は、感知可能性指標 (p) で測定する。
• ターゲットクラスの損失を最大化し、同時に知覚的歪みを最小化するように、物理的パラメータ（例：表面法線、照明、素材）を最適化すること。
• 攻撃はビジョンモデルの内部構造にアクセスしないブラックボックス設定であり、最終予測結果のみを必要とする。
• 2つのベンチマークで手法を検証する：3D物体分類のための ShapeNet と、視覚的質問応答のための CLEVR。

実験結果

リサーチクエスチョン

• RQ1 2D画像ピクセルではなく、照明、素材、表面法線などの3D物理的パラメータを摂動させることで、adversarial 例を実際に生成できるか？
• RQ2 物理空間における攻撃の成功確率と必要な摂動の大きさは、従来の画像空間攻撃と比べてどう異なるか？
• RQ3 物理空間の敵対的攻撃は、物体の回転や照明のずれといった意味のある非局所的変更として解釈できるか？
• RQ4 質問や答えの内容を事前に知らない状態でも、攻撃戦略がモデルの弱み（例：色に依存する）を自動的に突くことができるか？
• RQ5 物理空間で adversarial 入力を再レンダリングすることで、画像空間の adversarial 例に対する防御機構として機能するか？

主な発見

• 物理空間攻撃は実現可能ではあるが、画像空間攻撃と比較してはるかに困難であり、非可微分レンダリングを用いた CLEVR では100件中22件の成功にとどまり、画像空間では66件の成功を記録した。
• 物理空間攻撃の成功確率は低く、誤分類を達成するには画像空間攻撃よりも著しく大きな摂動が必要であり、物理的パrameter空間における耐性がより高いことを示している。
• 画像空間の敵対的例は、回転や照明のずれといった意味のある3D物理的変更ではうまく説明できないため、物理的に現実的ではない。
• ブラックボックス攻撃であるにもかかわらず、質問の内容を事前に知らない状態でも、色に依存するような脆弱な特徴を自動的に狙うことができた。
• 再構築による分析（物理的摂動の再レンダリング）は、画像空間の敵対的例を中和できることを示しており、物理的解釈に基づく新たな防御戦略の可能性を示唆している。
• 視覚的質問応答タスクでは、素材パラメータに対する攻撃は知覚可能性制約のため、他の物理的パラメータと比較して有意な差がない成功確率にとどまった。