[论文解读] Making an Invisibility Cloak: Real World Adversarial Attacks on Object Detectors

Zuxuan Wu, Ser-Nam Lim+2 more|arXiv (Cornell University)|Oct 31, 2019

Adversarial Robustness in Machine Learning参考文献 36被引用 14

一句话总结

本文对使用印刷海报和可穿戴衣物在真实世界中对目标检测器实施对抗性攻击进行了系统研究，表明精心设计的贴纸可在物理条件下成功规避最先进的检测器（如 YOLOv2 和 Faster R-CNN）。主要贡献在于量化了模型、数据集以及真实世界失真下的迁移性，结果显示尽管存在物理形变和成像伪影，可穿戴贴纸的攻击成功率仍可达 50%。

ABSTRACT

We present a systematic study of adversarial attacks on state-of-the-art object detection frameworks. Using standard detection datasets, we train patterns that suppress the objectness scores produced by a range of commonly used detectors, and ensembles of detectors. Through extensive experiments, we benchmark the effectiveness of adversarially trained patches under both white-box and black-box settings, and quantify transferability of attacks between datasets, object classes, and detector models. Finally, we present a detailed study of physical world attacks using printed posters and wearable clothes, and rigorously quantify the performance of such attacks with different metrics.

研究动机与目标

• 研究对抗性攻击从数字模拟到真实世界物理部署在目标检测器上的迁移性。
• 在多个检测器、数据集和物体类别下，评估对抗性贴纸在黑盒和白盒设置下的有效性。
• 识别并量化真实世界干扰因素（如光照、相机失真和织物形变）对攻击性能的影响。
• 开发并测试在可穿戴衣物和印刷海报上具有物理鲁棒性的对抗性图案，测量成功率和平均精度（AP）下降程度。
• 在真实世界环境中基准化先进攻击技术（如 TPS、集成训练）的性能，并与更简单的基线方法进行比较。

提出的方法

• 通过精心构建的目标函数训练对抗性贴纸，以抑制 YOLOv2、Faster R-CNN 和 FCOS 等多个目标检测器的物体存在分数。
• 结合数字模拟与使用印刷海报和可穿戴衬衫的真实实验，评估在真实世界条件下的迁移性。
• 应用数据增强技术（如薄板样条，TPS 变换）以提高对物理形变（如织物褶皱和拉伸）的鲁棒性。
• 使用标准指标（平均精度）和可解释的成功/失败率，测量在不同相机角度、距离和光照条件下的攻击成功率。
• 通过使用纸娃娃进行受控实验，隔离相机后处理、像素化和压缩对攻击性能的影响。
• 比较多种攻击策略，包括贴纸拼接、边界反射和集成训练，以评估其对物理世界鲁棒性的影响。

实验结果

研究问题

• RQ1 在一种检测器上训练的对抗性贴纸，在数字环境和真实世界中向其他检测器的迁移程度如何？
• RQ2 真实世界的成像效应（如相机压缩、像素化和后处理）如何影响对抗性攻击的性能？
• RQ3 在复杂形变和可变视角条件下，可穿戴衣物上的对抗性图案是否能有效规避目标检测器？
• RQ4 不同的数据增强策略（如 TPS、反射拼接）如何影响对抗性贴纸在真实世界中的鲁棒性？
• RQ5 模型架构、数据集和物体类别对对抗性攻击迁移性的相对影响是什么？

主要发现

• 在 COCO 数据集上训练的对抗性贴纸在数字和物理环境中均成功规避了 YOLOv2 和 Faster R-CNN 检测器，可穿戴衬衫上的成功率最高达到 50%。
• 与数字模拟相比，真实世界中的性能显著下降，主要原因是相机后处理、像素化和压缩，这些被确定为性能下降的主要来源。
• 使用 YOLOv2 贴纸的可穿戴攻击成功率高于印刷海报，表明织物纹理和形变可被有效利用以维持攻击有效性。
• 通过拼接或反射方式将贴纸覆盖整件衬衫并未降低性能，甚至在一定程度上保持了攻击效果，尽管这些配置并未在训练中显式优化。
• 在训练中使用非刚性 TPS 变换并未提升真实世界中的迁移性，反而降低了性能，可能由于训练不稳定及对形变模式的过拟合。
• FCOS 对物理攻击表现出更高的鲁棒性，可能是因为其训练数据中包含更多衣物纹理，使其对这类特征更敏感。