[论文解读] Adversarial Patch Camouflage against Aerial Detection

Ajaya Adhikari, Richard den Hollander+10 more|arXiv (Cornell University)|Aug 31, 2020

Adversarial Robustness in Machine Learning参考文献 19被引用 7

一句话总结

本文提出了一种对抗性斑块伪装方法，通过应用小型图案化斑块，在不完全覆盖的情况下，使深度学习驱动的空中目标检测器无法识别大型军用飞机。该方法以极小的斑块尺寸实现了高效的隐蔽效果，优于随机噪声，并在不同检测器架构间展现出良好的泛化能力。

ABSTRACT

Detection of military assets on the ground can be performed by applying deep learning-based object detectors on drone surveillance footage. The traditional way of hiding military assets from sight is camouflage, for example by using camouflage nets. However, large assets like planes or vessels are difficult to conceal by means of traditional camouflage nets. An alternative type of camouflage is the direct misleading of automatic object detectors. Recently, it has been observed that small adversarial changes applied to images of the object can produce erroneous output by deep learning-based detectors. In particular, adversarial attacks have been successfully demonstrated to prohibit person detections in images, requiring a patch with a specific pattern held up in front of the person, thereby essentially camouflaging the person for the detector. Research into this type of patch attacks is still limited and several questions related to the optimal patch configuration remain open. This work makes two contributions. First, we apply patch-based adversarial attacks for the use case of unmanned aerial surveillance, where the patch is laid on top of large military assets, camouflaging them from automatic detectors running over the imagery. The patch can prevent automatic detection of the whole object while only covering a small part of it. Second, we perform several experiments with different patch configurations, varying their size, position, number and saliency. Our results show that adversarial patch attacks form a realistic alternative to traditional camouflage activities, and should therefore be considered in the automated analysis of aerial surveillance imagery.

研究动机与目标

• 开发一种针对大型军用资产（如飞机）的实用伪装方法，使其能够规避基于深度学习的空中目标检测器。
• 探究仅覆盖目标物体一小部分区域的小型对抗性斑块是否能有效隐藏整个飞机，避免被检测。
• 评估斑块配置（尺寸、位置、显著性、数量）对检测规避性能的影响。
• 评估对抗性斑块在不同目标检测模型（包括YOLO、SSD、RetinaNet、Faster R-CNN和Mask R-CNN）之间的泛化能力。
• 通过数字仿真验证对抗性斑块在现实世界中的可行性，并为未来物理部署做好准备。

提出的方法

• 使用目标攻击框架训练对抗性斑块，以最小化YOLO-based目标检测器中对飞机的检测置信度。
• 通过基于梯度的优化方法优化斑块图案，以在最小化视觉失真下最大化误分类效果。
• 在不同配置下测试斑块的有效性：斑块尺寸（小、中、大）、位置（机身、机翼、垂尾）以及显著性（色彩对比度、纹理）。
• 通过在YOLO上训练的斑块测试其在Faster R-CNN和RetinaNet等其他检测器上的可迁移性。
• 使用大规模空中图像数据集模拟真实无人机监控环境，并测量检测失败率。
• 采用精确率-召回率曲线和视觉分析，量化不同配置下的检测规避性能。

实验结果

研究问题

• RQ1 即使仅覆盖飞机表面的一小部分，小型对抗性斑块是否能有效隐藏整个飞机，使其不被基于YOLO的目标检测器检测到？
• RQ2 斑块尺寸、位置和视觉显著性如何影响对抗性伪装在空中图像中的成功概率？
• RQ3 在一种检测器（如YOLO）上训练的对抗性斑块，能在多大程度上泛化到其他目标检测模型（如Faster R-CNN或RetinaNet）？
• RQ4 是否可以使用单一对抗性斑块图案有效伪装多种类型的飞机（如战斗机和客机），而无需重新训练？
• RQ5 与相同尺寸的随机噪声斑块或传统伪装网相比，对抗性斑块在检测规避方面的性能如何？

主要发现

• 即使尺寸很小（例如仅占飞机表面的10%），单个对抗性斑块也能成功阻止基于YOLO的检测器检测到整个飞机。
• 对抗性斑块显著优于相同尺寸的随机噪声斑块，后者对检测率的影响微乎其微。
• 斑块的有效性高度依赖于其位置——最佳位置为机身或机翼，这些区域容易吸引视觉注意力。
• 斑块展现出强大的可迁移性，能成功规避多种目标检测器（包括Faster R-CNN和RetinaNet）的检测，表明其在不同网络架构间具有良好的泛化能力。
• 精确率-召回率曲线显示，应用对抗性斑块后检测性能显著下降，证实了其高规避成功率。
• 结果表明，对抗性斑块伪装是一种比传统伪装网更实用、更高效的大型军用资产伪装替代方案。