[论文解读] DPatch: An Adversarial Patch Attack on Object Detectors

Xin Liu, Huanrui Yang+4 more|arXiv (Cornell University)|Jun 5, 2018

Adversarial Robustness in Machine Learning参考文献 18被引用 150

一句话总结

DPatch 训练一个小型对抗性贴片，在 Faster R-CNN 和 YOLO 中同时干扰边界框回归和对象分类，在黑盒设定中实现非目标攻击或目标攻击，并在跨检测器和数据集间具有高迁移性。

ABSTRACT

Object detectors have emerged as an indispensable module in modern computer vision systems. In this work, we propose DPatch -- a black-box adversarial-patch-based attack towards mainstream object detectors (i.e. Faster R-CNN and YOLO). Unlike the original adversarial patch that only manipulates image-level classifier, our DPatch simultaneously attacks the bounding box regression and object classification so as to disable their predictions. Compared to prior works, DPatch has several appealing properties: (1) DPatch can perform both untargeted and targeted effective attacks, degrading the mAP of Faster R-CNN and YOLO from 75.10% and 65.7% down to below 1%, respectively. (2) DPatch is small in size and its attacking effect is location-independent, making it very practical to implement real-world attacks. (3) DPatch demonstrates great transferability among different detectors as well as training datasets. For example, DPatch that is trained on Faster R-CNN can effectively attack YOLO, and vice versa. Extensive evaluations imply that DPatch can perform effective attacks under black-box setup, i.e., even without the knowledge of the attacked network's architectures and parameters. Successful realization of DPatch also illustrates the intrinsic vulnerability of the modern detector architectures to such patch-based adversarial attacks.

研究动机与目标

• 通过检验补丁基对抗攻击的脆弱性，激发对鲁棒目标检测器的研究。
• 开发一个实用的、小尺寸的对抗性贴片，能够同时干扰主流检测器的定位与分类。
• 展示一种对位置信息和尺度不变的贴片，具备非目标攻击和目标攻击能力。
• 展示贴片在检测器架构（双阶段与单阶段）及数据集（VOC、COCO）之间的可迁移性。
• 在网络架构和参数未知的黑盒条件下评估攻击有效性。

提出的方法

• 引入 DPatch，在检测器处理过程中将可优化的贴片放置在输入图像上。
• 通过对无目标损失（最大化检测器损失）或有目标损失（将损失最小化至所选目标类别及边界框）进行优化来训练 DPatch。
• 在训练期间应用随机变换（平移、缩放、旋转），以实现对现实世界变化的鲁棒性。
• 使用固定贴片尺寸（例如 40x40），并在训练中探索固定位置与随机位置放置。
• 在 Faster R-CNN（VGG16/ResNet101）和 YOLO 上进行评估，以 Pascal VOC 2007 作为主要数据集，并在 COCO 与 VOC 训练的检测器上进行可迁移性测试。
• 证明 RoIs 集中在贴片区域，解释为何检测器无法正确定位或分类对象。

实验结果

研究问题

• RQ1 一个小型的对抗性贴片是否能同时削弱现代目标检测器（如 Faster R-CNN 和 YOLO）的定位与分类？
• RQ2 是否有可能通过对位置、尺度和旋转鲁棒的贴片实现无目标和有目标攻击？
• RQ3 在黑盒条件下，DPatch 攻击在不同检测器架构和数据集之间的可迁移性如何？
• RQ4 贴片尺寸和目标类别对攻击有效性有何影响？
• RQ5 在一个数据集或检测器上进行训练，是否能在另一个数据集或检测器上实现成功攻击（跨数据集和检测器的可迁移性）？

主要发现

• DPatch 在测试设置中对无目标攻击下可以使 mAP 从 75.10%（Faster R-CNN with ResNet101）和 65.7%（YOLO）降至低于 1%。
• 带有目标的贴片可以迫使检测结果主要将贴片区域识别为所选目标类别，从而有效禁用其他对象的检测。
• 贴片尺寸和目标类别影响攻击效果；通常较大的贴片产生更强的攻击，一些目标类别（如 tv、cow）比其他类别导致更显著的 mAP 下降。
• 在黑盒设置下攻击有效且具有可迁移性：在 YOLO 上训练的贴片可以骗过 Faster R-CNN，反之亦然；在 COCO 训练的贴片也可以转移到 VOC 训练的检测器。
• 在两阶段和单阶段检测器中，贴片位置基本无关紧要，因为提议会在整张图像上扫描，贴片因此能支配 RoIs，无论位置。