[论文解读] Developing Imperceptible Adversarial Patches to Camouflage Military Assets From Computer Vision Enabled Technologies

Christopher Wise, Jo Plested|arXiv (Cornell University)|Feb 17, 2022

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出了一种新颖的方法，用于生成对人类视觉几乎不可察觉的对抗性补丁，可有效使大型军用飞机避开基于计算机视觉的检测系统。通过同时优化对目标检测器的高攻击成功率和最小的感知颜色差异（PerC），该方法生成了鲁棒且可打印的补丁，在不被人类察觉的同时，可扰乱基于CNN的监控与导弹制导系统。

ABSTRACT

Convolutional neural networks (CNNs) have demonstrated rapid progress and a high level of success in object detection. However, recent evidence has highlighted their vulnerability to adversarial attacks. These attacks are calculated image perturbations or adversarial patches that result in object misclassification or detection suppression. Traditional camouflage methods are impractical when applied to disguise aircraft and other large mobile assets from autonomous detection in intelligence, surveillance and reconnaissance technologies and fifth generation missiles. In this paper we present a unique method that produces imperceptible patches capable of camouflaging large military assets from computer vision-enabled technologies. We developed these patches by maximising object detection loss whilst limiting the patch's colour perceptibility. This work also aims to further the understanding of adversarial examples and their effects on object detection algorithms.

研究动机与目标

• 为应对人工智能驱动的监控与导弹系统对大型移动资产（如飞机）的探测挑战。
• 开发对人类几乎不可察觉但对目标检测模型仍具高度有效性的对抗性补丁。
• 通过确保补丁尺寸小、尺寸真实且适用于飞机的实际部署，克服先前工作的局限性。
• 探索在真实成像条件下，对抗性鲁棒性与感知不可见性之间的权衡。
• 为未来开发可打印、轮廓感知且普遍有效的对抗性补丁在防御应用中的发展奠定基础。

提出的方法

• 该方法采用双重优化目标：最大化目标检测损失（以误导检测器）和最小化感知颜色（PerC）距离（以确保人类不可见）。
• 采用补丁应用算子 $ A(p, x, l, t) $，将补丁 $ p $ 应用于图像 $ x $ 的位置 $ l $，并施加随机变换 $ t $（如旋转、缩放），以提升鲁棒性。
• 补丁 $ \\-hat{p} $ 通过 $ \\-hat{p} = \text{argmax}_{\textbf{p}} \mathbb{E}_{x\sim X, t\sim T, l\sim L}[\log \text{Pr}(\hat{y} | A(p,x,l,t))] $ 进行优化，确保在各种条件下均具有通用性能。
• 使用感知颜色（PerC）距离作为感知不可见性约束，替代传统的 $ L_\infty $ 边界，以更好地反映人类视觉敏感度。
• 算法在更新检测损失与感知不可见性损失（PerC-AL）之间交替进行，减少超参数调优需求并提升收敛速度。
• 该方法旨在生成可贴合飞机轮廓并可打印为贴纸的补丁，且具备通过语义分割引导补丁形状设计的潜力。

实验结果

研究问题

• RQ1 能否生成对人类视觉几乎不可察觉的对抗性补丁，以有效抑制深度学习视觉系统对大型军用飞机的检测？
• RQ2 与标准的 $ L_\infty $ 约束相比，如何利用感知颜色（PerC）距离来提升对抗性补丁的视觉隐蔽性？
• RQ3 补丁尺寸、形状与放置方式对真实部署场景中对抗性补丁的鲁棒性与不可见性有何影响？
• RQ4 对抗性补丁能否在不同光照、视角与背景条件下保持鲁棒性，同时对人类观察者保持视觉不可察觉？
• RQ5 与标准方法相比，交替更新感知不可见性与攻击损失（PerC-AL）策略如何提升补丁生成的效率与性能？

主要发现

• 所提出的 PerC-AL 方法成功生成了在抑制目标检测方面极为有效且对人类观察者几乎不可察觉的对抗性补丁。
• 使用感知颜色（PerC）损失训练的补丁，其视觉隐蔽性显著优于使用 $ L_\infty $ 约束的补丁，即使后者也经过不可察觉性优化。
• 交替更新策略（PerC-AL）减少了对大量超参数调优的需求，并相比联合优化提升了收敛速度。
• 该方法生成的补丁尺寸小、尺寸真实，适合打印为贴纸，可实现飞机上的实际部署。
• 初步结果表明，即使在不同朝向与光照条件下应用，补丁仍具有效性，表明其在各类变换下具有强大的泛化能力。
• 本研究发现，轮廓感知的补丁设计与语义分割可进一步提升补丁的真实感与有效性，为可打印、形状约束的对抗性补丁的发展铺平道路。