[论文解读] Exploring the Vulnerability of Single Shot Module in Object Detectors via Imperceptible Background Patches

Yuezun Li, Xiao Bian+2 more|arXiv (Cornell University)|Sep 16, 2018

Adversarial Robustness in Machine Learning参考文献 34被引用 16

一句话总结

本文提出了一种新型对抗性攻击，通过在背景中放置难以察觉的补丁来针对目标检测器中的单阶段模块（SSM），利用SSM的较大感受野。通过优化降低真正例分数、破坏定位性能并增加假阳性，该方法在MS COCO 2014数据集上严重降低13种最先进检测器的性能，即使使用小尺寸、远距离的背景补丁亦然。

ABSTRACT

Recent works succeeded to generate adversarial perturbations on the entire image or the object of interests to corrupt CNN based object detectors. In this paper, we focus on exploring the vulnerability of the Single Shot Module (SSM) commonly used in recent object detectors, by adding small perturbations to patches in the background outside the object. The SSM is referred to the Region Proposal Network used in a two-stage object detector or the single-stage object detector itself. The SSM is typically a fully convolutional neural network which generates output in a single forward pass. Due to the excessive convolutions used in SSM, the actual receptive field is larger than the object itself. As such, we propose a novel method to corrupt object detectors by generating imperceptible patches only in the background. Our method can find a few background patches for perturbation, which can effectively decrease true positives and dramatically increase false positives. Efficacy is demonstrated on 5 two-stage object detectors and 8 single-stage object detectors on the MS COCO 2014 dataset. Results indicate that perturbations with small distortions outside the bounding box of object region can still severely damage the detection performance.

研究动机与目标

• 探究仅在背景补丁上施加难以察觉的对抗性扰动是否能显著降低目标检测器的性能。
• 通过基于背景的攻击，解决两阶段和单阶段检测器中SSM尚未被充分探索的脆弱性问题。
• 开发一种基于优化的方法，生成有效的背景补丁，通过降低真正例分数并增加假阳性分数来干扰检测性能。
• 评估补丁与目标的距离以及目标尺度对攻击效果的影响。
• 证明即使扰动位于目标边界框之外，背景补丁也能通过上下文干扰破坏SSM的输出。

提出的方法

• 将背景补丁的生成建模为一个优化问题，通过最小化包含真正例分类（TPC）、真正例形状（TPS）和假阳性分类（FPC）损失的复合损失函数。
• TPC损失用于降低正确检测的分类分数，而TPS损失通过劣化形状偏移回归来破坏定位性能。
• FPC损失通过提升背景中非背景类别分数来促进假阳性检测。
• 采用迭代梯度下降法优化背景补丁的像素值、位置和形状，以最大化攻击效果。
• 该方法同时适用于两阶段检测器（通过RPN）和单阶段检测器，将SSM视为目标模块。
• 实验在MS COCO 2014数据集上进行，评估了不同距离、目标尺度和检测器架构下的攻击有效性。

实验结果

研究问题

• RQ1 在目标检测器的单阶段模块（SSM）中，背景区域的难以察觉对抗性补丁是否能显著降低其性能？
• RQ2 背景补丁与目标之间的距离如何影响攻击的成功率？
• RQ3 目标尺寸是否会影响SSM对背景补丁攻击的脆弱性？
• RQ4 需要多少个背景补丁才能干扰多个邻近目标？目标之间的接近程度是否会降低对补丁数量的需求？
• RQ5 该攻击是否能同时降低真正例分数并增加背景中的假阳性分数，从而破坏检测结果的排序？

主要发现

• 背景补丁攻击在MS COCO 2014数据集上显著降低了mAP，当攻击小目标（SG_1）时，FR-rn50的mAP@0.5下降高达64.3%，FR-rn152下降60.7%。
• 背景中的假阳性分数显著上升，FPC损失促使假检测在排序中超越真正例。
• 随着补丁与目标之间距离的增加，攻击效果下降，证实了感受野在脆弱性中的作用，性能随距离从0.2增至0.6而下降。
• 小目标（SG_1）比大目标（SG_4）更易受攻击，FR-rn50在小目标上的检测性能下降比例达64.3%，而大目标仅为43.2%。
• 当目标更接近时（平均距离较低），每个目标所需的补丁更少——在最近的一组（DG_5）中，每目标仅需1.22个补丁，表明感受野重叠效应的存在。
• 即使补丁位于目标较远的位置，攻击依然有效，表明SSM由于其较大的感受野，易受远处背景区域的上下文干扰。