[论文解读] Infrared Invisible Clothing:Hiding from Infrared Detectors at Multiple Angles in Real World

Xiaopei Zhu, Zhanhao Hu+3 more|arXiv (Cornell University)|May 12, 2022

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出了一种基于气凝胶织物上周期性扩展的“二维码”图案的红外对抗性服装，可在真实世界中从多个角度规避热成像行人检测器。通过优化图案在形变和随机裁剪下的鲁棒性，该方法在真实世界测试中使YOLOv3的平均精度（AP）降低了64.6%，显著优于随机图案和隔热服装。

ABSTRACT

Thermal infrared imaging is widely used in body temperature measurement, security monitoring, and so on, but its safety research attracted attention only in recent years. We proposed the infrared adversarial clothing, which could fool infrared pedestrian detectors at different angles. We simulated the process from cloth to clothing in the digital world and then designed the adversarial "QR code" pattern. The core of our method is to design a basic pattern that can be expanded periodically, and make the pattern after random cropping and deformation still have an adversarial effect, then we can process the flat cloth with an adversarial pattern into any 3D clothes. The results showed that the optimized "QR code" pattern lowered the Average Precision (AP) of YOLOv3 by 87.7%, while the random "QR code" pattern and blank pattern lowered the AP of YOLOv3 by 57.9% and 30.1%, respectively, in the digital world. We then manufactured an adversarial shirt with a new material: aerogel. Physical-world experiments showed that the adversarial "QR code" pattern clothing lowered the AP of YOLOv3 by 64.6%, while the random "QR code" pattern clothing and fully heat-insulated clothing lowered the AP of YOLOv3 by 28.3% and 22.8%, respectively. We used the model ensemble technique to improve the attack transferability to unseen models.

研究动机与目标

• 开发一种可穿戴、物理上鲁棒的方法，以在多个视角下隐藏自身免受热成像行人检测器的探测。
• 克服先前物理攻击仅在特定角度（如仅正面）有效的局限性。
• 设计一种对抗性图案，使其在3D服装制作过程中经历非刚性形变和随机裁剪后仍保持有效性。
• 通过模型集成技术提升对抗性图案对未见过模型的迁移能力。
• 在不同角度和距离下，通过真实世界物理实验验证对抗性服装的有效性。

提出的方法

• 使用可微分渲染流程在数字世界中模拟从平面布料到3D服装的转换过程。
• 基于周期性“二维码”结构设计一种二值对抗性图案，确保在随机裁剪和几何形变后仍保持有效性。
• 使用基于梯度的攻击方法（如PGD）在目标检测器（如YOLOv3）上优化图案，以最大化性能下降。
• 在优化过程中应用模型集成技术，结合多个模型（如YOLOv2、YOLOv3、Faster R-CNN、Mask R-CNN）以提升对未见过模型的迁移能力。
• 使用气凝胶制造最终服装，该材料轻质且具有优异的隔热性能，可保持对抗性图案的红外特征。
• 通过红外摄像头和真实志愿者开展真实世界评估，测量在不同角度和距离下的攻击成功率（ASR）和平均精度（AP）

实验结果

研究问题

• RQ1 能否设计一种对抗性图案，使其在3D服装经历非刚性形变和随机裁剪后仍保持有效性？
• RQ2 对抗性服装是否能在真实世界条件下实现对红外行人检测器的多角度鲁棒规避？
• RQ3 对抗性图案在不同深度学习模型间的攻击迁移能力如何，尤其是对未见过的模型？
• RQ4 距离和视角对真实实验中对抗性服装的检测规避性能有何影响？
• RQ5 基于模型集成的优化能否显著提升对抗性图案在真实世界攻击中的迁移能力和鲁棒性？

主要发现

• 在数字世界中，对抗性“二维码”图案使YOLOv3的平均精度（AP）降低了87.7%，显著优于随机图案（57.9%）和空白图案（30.1%）。
• 在真实世界实验中，对抗性服装使YOLOv3的AP降低了64.6%，而随机图案仅降低28.3%，全隔热服装仅降低22.8%。
• 攻击成功率（ASR）在0°（正面）和180°（背面）角度最高，而在90°（侧面）最低，可能由于图案可见性降低。
• 在3至7米的距离范围内，ASR保持在0.8以上，但超过7米后急剧下降，原因可能是对抗性图案的空间分辨率降低。
• 使用模型集成优化显著提升了迁移能力：在数字世界中，Deformable DETR、RetinaNet和Libra-RCNN的AP分别降低了66.9%、58.2%和40.4%；在真实世界中，分别降低了51.9%、40.4%和16.2%。
• 防御方法如空间平滑和对抗性训练仅略微提升了检测性能，AP从12.3%提升至36.8%，攻击后仍存在63.2%的性能下降。