[论文解读] DTA: Physical Camouflage Attacks using Differentiable Transformation Network

Naufal Suryanto, Yongsu Kim+7 more|arXiv (Cornell University)|Mar 18, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出 DTA，一种结合可微神经渲染与照片级真实感变换的物理伪装攻击框架，可在3D物体上生成鲁棒的对抗性图案。通过一种新型可微变换网络（DTN），DTA 实现了高保真渲染，准确还原光照、阴影与材质效果，成功在模拟环境（CARLA）和真实世界中对缩小版特斯拉Model 3进行测试，规避了最先进目标检测器的检测。

ABSTRACT

To perform adversarial attacks in the physical world, many studies have proposed adversarial camouflage, a method to hide a target object by applying camouflage patterns on 3D object surfaces. For obtaining optimal physical adversarial camouflage, previous studies have utilized the so-called neural renderer, as it supports differentiability. However, existing neural renderers cannot fully represent various real-world transformations due to a lack of control of scene parameters compared to the legacy photo-realistic renderers. In this paper, we propose the Differentiable Transformation Attack (DTA), a framework for generating a robust physical adversarial pattern on a target object to camouflage it against object detection models with a wide range of transformations. It utilizes our novel Differentiable Transformation Network (DTN), which learns the expected transformation of a rendered object when the texture is changed while preserving the original properties of the target object. Using our attack framework, an adversary can gain both the advantages of the legacy photo-realistic renderers including various physical-world transformations and the benefit of white-box access by offering differentiability. Our experiments show that our camouflaged 3D vehicles can successfully evade state-of-the-art object detection models in the photo-realistic environment (i.e., CARLA on Unreal Engine). Furthermore, our demonstration on a scaled Tesla Model 3 proves the applicability and transferability of our method to the real world.

研究动机与目标

• 解决现有神经渲染器在物理对抗攻击中难以模拟真实物理变换（如阴影与反光）的局限性。
• 通过在保持场景级真实感的同时支持基于梯度的优化，弥合可微神经渲染与照片级真实感模拟之间的差距。
• 开发一种方法，生成对真实世界变换（如光照、视角与遮挡）具有鲁棒性的对抗性伪装图案。
• 在模拟环境（CARLA）与真实世界物理部署中，证明攻击的可迁移性与有效性。
• 在保持高视觉保真度以实现隐蔽物理部署的同时，实现白盒攻击性能并具备完整可微性。

提出的方法

• 提出一种可微变换网络（DTN），学习在纹理修改时3D物体外观的变化，同时保留原始材质、光照与阴影特性。
• 将DTN作为可微模块集成至传统照片级真实感渲染器（如Unreal Engine）中，实现渲染流程端到端的反向传播。
• 采用可微渲染流程，联合优化对抗性图案与场景级变换，包括阴影投射与光反射。
• 采用基于梯度的优化过程，生成在多种相机姿态与光照条件下均能最小化检测置信度的对抗性纹理。
• 将该框架应用于3D车辆，生成覆盖全部可喷涂表面的伪装图案，以最大化隐蔽性。
• 通过模拟（CARLA）与真实世界3D打印缩小模型进行验证，真实世界测试在不同环境条件下进行。

实验结果

研究问题

• RQ1 可微神经渲染技术是否能在支持基于梯度的优化以生成对抗性图案的同时，保持照片级真实感的场景属性（如阴影与反光）？
• RQ2 可微变换网络的集成在多大程度上提升了物理对抗伪装在各种物理变换下的鲁棒性与可迁移性？
• RQ3 所提出的DTA框架在模拟与真实世界环境中，能在多大程度上规避最先进目标检测模型？
• RQ4 基于DTN的渲染器是否在物理对抗攻击中优于缺乏完整场景级真实感的现有神经渲染器？
• RQ5 通过DTA生成的对抗性伪装在物理打印并部署于真实世界环境（光照与视角多变）下是否仍保持有效性？

主要发现

• 在CARLA模拟环境中，DTA在EfficientDetD0上的平均AP@0.5为0.34，在YOLOv4上为0.61，显著降低了正常纹理下的检测置信度。
• 在真实世界中3D打印的缩小版特斯拉Model 3车辆上，DTA将AP@0.5降低至0.34（EfficientDetD0）与0.61（YOLOv4），证明了在物理部署中的成功规避。
• DTA框架在攻击成功率与跨不同目标检测器的可迁移性方面，均优于基线方法（如UPC、DAS、CAMOU与ER）。
• 该方法成功保留了如挡风玻璃透明度与阴影投射等逼真视觉效果，而这些在以往基于神经渲染的方法中均缺失。
• 真实世界评估证实，对抗性图案在不同光照、相机角度与环境条件下仍保持有效，证明了其鲁棒性与可迁移性。
• DTN模块实现了前景与背景元素（包括阴影与反光）的精确融合，而此前方法在这些方面存在渲染不准确的问题。