[论文解读] Shadows can be Dangerous: Stealthy and Effective Physical-world Adversarial Attack by Natural Phenomenon

Yiqi Zhong, Xianming Liu+3 more|arXiv (Cornell University)|Mar 8, 2022

Adversarial Robustness in Machine Learning被引用 8

一句话总结

本文提出了一种新颖且隐蔽的物理世界对抗攻击，利用自然阴影而非人工光学图案。通过粒子群优化（PSO）优化阴影形状与位置，该方法在黑箱设置下于 LISA 数据集上实现 98.23% 的成功率，在 GTSRB 数据集上实现 90.47% 的成功率，且在真实世界测试中超过 95% 的时间误导移动摄像头。

ABSTRACT

Estimating the risk level of adversarial examples is essential for safely deploying machine learning models in the real world. One popular approach for physical-world attacks is to adopt the "sticker-pasting" strategy, which however suffers from some limitations, including difficulties in access to the target or printing by valid colors. A new type of non-invasive attacks emerged recently, which attempt to cast perturbation onto the target by optics based tools, such as laser beam and projector. However, the added optical patterns are artificial but not natural. Thus, they are still conspicuous and attention-grabbed, and can be easily noticed by humans. In this paper, we study a new type of optical adversarial examples, in which the perturbations are generated by a very common natural phenomenon, shadow, to achieve naturalistic and stealthy physical-world adversarial attack under the black-box setting. We extensively evaluate the effectiveness of this new attack on both simulated and real-world environments. Experimental results on traffic sign recognition demonstrate that our algorithm can generate adversarial examples effectively, reaching 98.23% and 90.47% success rates on LISA and GTSRB test sets respectively, while continuously misleading a moving camera over 95% of the time in real-world scenarios. We also offer discussions about the limitations and the defense mechanism of this attack.

研究动机与目标

• 开发一种物理上可实现、非侵入性的对抗攻击，利用自然现象而非人工光学图案。
• 通过使用阴影作为扰动，解决贴纸粘贴和基于人工光攻击的局限性，使扰动更加自然且不显眼。
• 在黑箱设置下，评估基于阴影的对抗攻击在模拟环境与真实世界环境中的有效性。
• 研究基于阴影的攻击在实时交通标志识别系统中使用移动摄像头时的可行性与鲁棒性。
• 探索防御机制，特别是通过随机阴影增强进行对抗训练，以提升模型的抗扰动能力。

提出的方法

• 将基于阴影的对抗攻击建模为优化问题，目标是生成能最大程度误导目标模型的阴影形状与位置。
• 使用粒子群优化（PSO）搜索最优阴影配置（多边形顶点与强度系数 k），以最大化攻击成功率。
• 实现一种可微分渲染管道，以模拟不同光照条件下阴影对目标物体的影响。
• 采用多重启策略（n-restarts），n=5，以提升鲁棒性与成功率，在性能与计算成本之间取得平衡。
• 在对抗训练中采用随机阴影增强技术，以提升模型对阴影攻击的鲁棒性。
• 在数字（模拟）与物理（真实世界）环境中验证攻击效果，包括使用移动摄像头的动态场景。

Figure 1 : Comparison of our simulated shadows and real-world shadows on traffic signs from LISA [ 21 ] and GTSRB [ 26 ] datasets.

实验结果

研究问题

• RQ1 是否可以有效利用自然阴影作为物理世界攻击中的对抗扰动，而无需依赖人工光学设备？
• RQ2 在具有动态摄像头的真实世界交通标志识别场景中，基于阴影的攻击效果如何？
• RQ3 需要何种优化策略来生成物理上可实现且隐蔽的阴影扰动？
• RQ4 攻击性能在不同光照条件与阴影配置下如何变化？
• RQ5 通过随机阴影增强进行对抗训练，能否提升模型对基于阴影攻击的鲁棒性？

主要发现

• 所提出的基于阴影的攻击在黑箱设置下于 LISA 数据集上实现 98.23% 的成功率，在 GTSRB 数据集上实现 90.47% 的成功率。
• 在真实世界动态场景中使用移动摄像头时，该攻击成功误导模型超过 95% 的时间。
• 使用三角形作为阴影形状可在计算成本最低的前提下取得良好效果，优于更复杂的多边形。
• n=5 的多重启策略在成功率与计算开销之间提供了良好平衡，n>5 后性能增益微乎其微。
• 通过随机阴影增强进行对抗训练可提升模型鲁棒性，使 LISA-CNN 上的攻击失败率从 1.73% 提升至 40.93%。
• 在光照条件较差（k 值较大）时，攻击无效，因为阴影过淡无法产生显著扰动，凸显了环境条件的关键限制。

Figure 2 : The distribution of coefficient $k$ .