[論文レビュー] DTA: Physical Camouflage Attacks using Differentiable Transformation Network

Naufal Suryanto, Yongsu Kim+7 more|arXiv (Cornell University)|Mar 18, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、異なるiableニューラルレンダリングとリアルな画像変換を組み合わせることで、3Dオブジェクトに耐性のある悪意あるパターンを生成する物理的カモフラージュ攻撃フレームワークであるDTAを提案する。新規のDifferentiable Transformation Network（DTN）を用いることで、正確な照明、影、素材効果を保持した高精細レンダリングを実現し、シミュレーション（CARLA）および実世界のテストにおいて、最先端のオブジェクト検出器を効果的に回避することに成功した。

ABSTRACT

To perform adversarial attacks in the physical world, many studies have proposed adversarial camouflage, a method to hide a target object by applying camouflage patterns on 3D object surfaces. For obtaining optimal physical adversarial camouflage, previous studies have utilized the so-called neural renderer, as it supports differentiability. However, existing neural renderers cannot fully represent various real-world transformations due to a lack of control of scene parameters compared to the legacy photo-realistic renderers. In this paper, we propose the Differentiable Transformation Attack (DTA), a framework for generating a robust physical adversarial pattern on a target object to camouflage it against object detection models with a wide range of transformations. It utilizes our novel Differentiable Transformation Network (DTN), which learns the expected transformation of a rendered object when the texture is changed while preserving the original properties of the target object. Using our attack framework, an adversary can gain both the advantages of the legacy photo-realistic renderers including various physical-world transformations and the benefit of white-box access by offering differentiability. Our experiments show that our camouflaged 3D vehicles can successfully evade state-of-the-art object detection models in the photo-realistic environment (i.e., CARLA on Unreal Engine). Furthermore, our demonstration on a scaled Tesla Model 3 proves the applicability and transferability of our method to the real world.

研究の動機と目的

• 物理的悪意ある攻撃中に影や反射などのリアルな物理的変換をシミュレートする現行のニューラルレンダラーの限界を解消すること。
• differentiable neural renderingと写真のようにリアルなシミュレーションのギャップを埋めることで、シーン全体のリアリズムを保持しつつ勾配ベースの最適化を可能にすること。
• 照明、視点、遮蔽などの実世界の変換に対して耐性を持つ悪意あるカモフラージュパターンを生成する手法を開発すること。
• シミュレーション環境（CARLA）および実世界の物理的展開において、攻撃の転送性と有効性を実証すること。
• 完全な微分可能性を維持しながら、静かに物理的に展開可能な高視覚的忠実度を実現する白ボックス攻撃の性能を実現すること。

提案手法

• 3Dオブジェクトのテクスチャが変更された際の外観変換を学習するDifferentiable Transformation Network（DTN）を提案し、元の素材、照明、影の特性を保持する。
• DTNをレガシーフォトリアリスティックレンダラー（例：Unreal Engine）に統合し、レンダリングパイプライン全体にエンドツーエンドのバックプロパゲーションを可能にする。
• 悪意あるパターンと影の投射や光の反射を含むシーン全体の変換を同時に最適化するdifferentiableレンダリングパイプラインを採用する。
• 多様なカメラの姿勢と照明条件において検出信頼度を最小化する悪意あるテクスチャを生成するために、勾配ベースの最適化プロセスを用いる。
• 3D車両に適用し、塗装可能な表面全体をカバーするカモフラージュパターンを生成することで、隠蔽効果を最大化する。
• シミュレーション（CARLA）および実世界の3Dプリントされたスケールモデルを用いて検証し、さまざまな環境条件下での実世界テストを実施する。

実験結果

リサーチクエスチョン

• RQ1 differentiableニューラルレンダリング技術は、勾配ベースの最適化を可能にしつつ、影や反射といった写真のようにリアルなシーン特性を保持できるか？
• RQ2 differentiable transformation networkの統合は、多様な物理的変換にわたる物理的悪意あるカモフラージュの耐性と転送性をどのように向上させるか？
• RQ3 提案されたDTAフレームワークは、シミュレーション環境および実世界環境の両方で、最先端のオブジェクト検出モデルをどの程度効果的に回避できるか？
• RQ4 DTNベースのレンダラーは、シーン全体のリアリズムが不完全な既存のニューラルレンダラーと比較して、物理的悪意ある攻撃において優れた性能を示すか？
• RQ5 DTAを介して物理的にプリントされた悪意あるカモフラージュは、変動する照明や視点角度の下でも、実世界の条件下で有効に保たれるか？

主な発見

• CARLAシミュレーションでは、DTAはEfficientDetD0で平均AP@0.5が0.34、YOLOv4で0.61を達成し、通常のテクスチャと比較して検出信頼度を顕著に低下させた。
• 3Dプリントされたスケール版テスラ・モデル3を用いた実世界のテストでは、DTAはEfficientDetD0でAP@0.5を0.34、YOLOv4で0.61に低下させ、物理的展開における成功した回避を示した。
• DTAフレームワークは、UPC、DAS、CAMOU、ERといったベースライン手法と比較して、攻撃成功率と異なるオブジェクト検出器への転送性の両面で優れていた。
• 本手法は、窓の透明性や影の投射といったリアルな視覚的効果を効果的に保持しており、これまではニューラルレンダラーに基づくアプローチで欠落していた。
• 実世界の評価により、変動する照明、カメラの角度、環境条件の下でも悪意あるパターンが有効に保たれることを確認し、耐性と転送性を裏付けた。
• DTNモジュールにより、前景と背景の要素（影や反射を含む）の正確なブレンドが可能となり、従来の手法では不正確にレンダリングされていた点を改善した。