[论文解读] APRICOT: A Dataset of Physical Adversarial Attacks on Object Detection

A. Braunegg, Amartya Chakraborty+7 more|arXiv (Cornell University)|Dec 17, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用 7

一句话总结

APRICOT 是一个公开可用的数据集，包含超过1,000张在自然环境中实际应用的印刷对抗性补丁的照片，用于针对在不同光照、角度和距离条件下运行的目标检测模型。该研究证明，物理对抗性补丁能够在白盒和黑盒设置下成功触发误报，并通过无监督方法（如贝叶斯不确定性与重建误差）建立了有效的检测基线。

ABSTRACT

Physical adversarial attacks threaten to fool object detection systems, but reproducible research on the real-world effectiveness of physical patches and how to defend against them requires a publicly available benchmark dataset. We present APRICOT, a collection of over 1,000 annotated photographs of printed adversarial patches in public locations. The patches target several object categories for three COCO-trained detection models, and the photos represent natural variation in position, distance, lighting conditions, and viewing angle. Our analysis suggests that maintaining adversarial robustness in uncontrolled settings is highly challenging, but it is still possible to produce targeted detections under white-box and sometimes black-box settings. We establish baselines for defending against adversarial patches through several methods, including a detector supervised with synthetic data and unsupervised methods such as kernel density estimation, Bayesian uncertainty, and reconstruction error. Our results suggest that adversarial patches can be effectively flagged, both in a high-knowledge, attack-specific scenario, and in an unsupervised setting where patches are detected as anomalies in natural images. This dataset and the described experiments provide a benchmark for future research on the effectiveness of and defenses against physical adversarial objects in the wild.

研究动机与目标

• 为解决物理对抗性攻击在目标检测系统中缺乏公开可用的真实世界基准数据集的问题。
• 评估在非受控环境条件（如光照、视角和距离变化）下，物理对抗性补丁的鲁棒性与可迁移性。
• 在真实图像中建立对抗性补丁检测的基线方法，无论是否具备攻击模式的先验知识。
• 研究无监督异常检测技术（如核密度估计、贝叶斯不确定性与自编码器重建误差）在自然场景中识别对抗性补丁的有效性。
• 为未来在自动驾驶等安全关键应用中防御物理对抗性攻击的研究提供可复现的基准。

提出的方法

• 使用20名志愿者摄影师在公共场所拍摄1,000多张真实世界图像，记录印刷对抗性补丁在不同环境条件下的表现。
• 采用期望变换（Expectation over Transformation）方法生成对真实世界失真（如旋转、缩放和光照变化）具有鲁棒性的对抗性补丁。
• 针对三种在COCO数据集上预训练的目标检测模型（Faster R-CNN、SSD、RetinaNet），设计补丁以触发对10个COCO物体类别的误报。
• 应用无监督异常检测技术：核密度估计（KDE）、贝叶斯不确定性估计以及基于自编码器的重建误差，对图像窗口进行检测以标记对抗性区域。
• 使用合成插入的对抗性补丁训练监督检测器，以与无监督方法进行性能对比。
• 使用在COCO 2017训练数据上预训练的自编码器（ACAI）提取潜在表征，并在32×32图像窗口中计算重建误差以实现异常检测。

实验结果

研究问题

• RQ1 在真实世界变化（如视角、距离和光照）下，物理对抗性补丁在多大程度上仍保持其对抗性？
• RQ2 无监督异常检测方法是否能在不了解攻击模式的前提下，有效标记自然图像中的对抗性补丁？
• RQ3 在真实场景中，监督与无监督防御方法在检测对抗性补丁方面表现如何比较？
• RQ4 模型不确定性与重建误差在识别图像中对抗性区域方面分别起什么作用？
• RQ5 补丁尺寸、形状与方向等因素如何影响物理对抗性攻击在真实环境中的成功率？

主要发现

• 物理对抗性补丁即使在显著的真实世界失真下，也能在白盒和部分黑盒设置中成功触发误报检测。
• 无监督方法（如贝叶斯不确定性与重建误差）在检测对抗性补丁方面表现优异，其中重建误差在定位异常图像窗口方面尤为有效。
• 基于KDE的方法预测能力有限，尤其因类别特定阈值设定缺乏足够数据支持；而基于不确定性的检测方法更具鲁棒性，尤其在决策边界附近的补丁上表现更优。
• 使用合成插入补丁训练的监督检测方法实现了高精度，但其对新型攻击模式的泛化能力可能不足。
• 基于自编码器的重建方法能有效检测对抗性补丁，但高频纹理（如树叶）会产生误报，表明该方法检测的是编码过程中的信息损失，而非潜在表征质量。
• 结合多种检测信号（如不确定性与重建误差）仅带来相较于单一不确定性检测的微小性能提升，表明不确定性本身已是识别对抗性内容的强有力独立指标。