[論文レビュー] UPC: Learning Universal Physical Camouflage Attacks on Object Detectors.

Lifeng Huang, Chengying Gao+5 more|arXiv (Cornell University)|Sep 10, 2019

Adversarial Robustness in Machine Learning被引用数 3

ひとこと要約

本論文は、実世界の設定において、あるカテゴリ（例：人物、車両）のすべてのインスタンスを効果的にだますことができる普遍的 adversarial パターンを生成する、Universal Physical Camouflage (UPC) を提案する。領域提案、分類、回帰ヘッドを同時に攻撃し、可変変換と自然性制約を適用することで、UPC は仮想環境（AttackScenes）および物理的環境の両方で高い攻撃成功率を達成する。

ABSTRACT

In this paper, we study physical adversarial attacks on object detectors in the wild. Prior arts on this matter mostly craft instance-dependent perturbations only for rigid and planar objects. To this end, we propose to learn an adversarial pattern to effectively attack all instances belonging to the same object category (e.g., person, car), referred to as Universal Physical Camouflage Attack (UPC). Concretely, UPC crafts camouflage by jointly fooling the region proposal network, as well as misleading the classifier and the regressor to output errors. In order to make UPC effective for articulated non-rigid or non-planar objects, we introduce a set of transformations for the generated camouflage patterns to mimic their deformable properties. We additionally impose optimization constraint to make generated patterns look natural for human observers. To fairly evaluate the effectiveness of different physical-world attacks on object detectors, we present the first standardized virtual database, AttackScenes, which simulates the real 3D world in a controllable and reproducible environment. Extensive experiments suggest the superiority of our proposed UPC compared with existing physical adversarial attackers not only in virtual environments (AttackScenes), but also in real-world physical environments. Codes, models, and demos are publicly available at https://mesunhlf.github.io/index_physical.html.

研究の動機と目的

• 従来の物理的 adversarial 攻撃がインスタンスに特化しており、非剛体または非平面なオブジェクトに対して効果を発揮しないという限界に対処すること。
• 野生の状況下で、あるオブジェクトカテゴリ（例：すべての人物）のすべてのインスタンスを攻撃できる普遍的 adversarial パターンを開発すること。
• 生成されたパターンが人間の観測者にとって視覚的に自然であると同時に、高い攻撃効果を維持すること。
• 物理的 adversarial 攻撃の評価のための標準的で再現可能なベンチマークを確立すること。

提案手法

• オブジェクト検出器内の領域提案ネットワーク、分類器、ボクシングボックス回帰器を同時にだます普遍的 adversarial パターンの設計。
• 可動部や非剛体なオブジェクト（例：動いている人物）の変形特性を模倣するための、微分可能変換のセットの適用。
• 生成されたパターンが人間の観測者にとって自然に見えるようにするため、知覚的損失と空間正則化の統合。
• 物理的 adversarial 攻撃の制御可能で再現可能な評価を可能にする、標準化された仮想 3D 環境である AttackScenes の導入。
• 攻撃成功率と視覚的自然性を組み合わせたマルチ目的損失を用いて、普遍的パターンをエンドツーエンドで最適化。
• 仮想環境における現実の照明、視点、透視の変動をシミュレートするための微分可能レンダリングパイプラインの使用。

実験結果

リサーチクエスチョン

• RQ1 1つの普遍的 adversarial パターンが、実世界の物理的設定において、あるオブジェクトカテゴリのすべてのインスタンスを効果的に攻撃できるか？
• RQ2 本手法は、インスタンスに特化した攻撃と比較して、非剛体または非平面なオブジェクトに対してどのように性能を発揮するか？
• RQ3 可変変換の導入が、可動部を持つオブジェクトにおける攻撃成功率をどの程度向上させるか？
• RQ4 標準化された再現可能な仮想ベンチマークにおいて、本手法は既存の攻撃と比較してどの程度効果的か？
• RQ5 生成されたパターンは、仮想環境および物理的環境の両方で、高い攻撃成功率を達成しながらも、視覚的に自然な外観を維持できるか？

主な発見

• UPC は、仮想ベンチマーク AttackScenes および実世界の物理的設定の両方で、従来の物理的 adversarial 攻撃よりも顕著に高い攻撃成功率を達成する。
• 可変変換の導入により、動的なポーズをとる人物のような非剛体および可動部を持つオブジェクトにおける攻撃成功率が向上する。
• 人間による評価および知覚的類似度指標により確認されたように、生成されたパターンは高い視覚的自然性を維持している。
• 再最適化なしに複数の同一カテゴリのインスタンスを効果的に攻撃できるため、UPC は一般化性能においてインスタンスに特化した攻撃を上回る。
• 標準化された AttackScenes ベンチマークにより、物理的 adversarial 攻撃の信頼性ある再現可能な評価が可能となり、異なる手法間の公平な比較が促進される。
• 本手法は、仮想環境および実世界の両方の展開において、照明、視点、背景の変動に対して高いロバストネスを示す。