[论文解读] Evading Real-Time Person Detectors by Adversarial T-shirt.

Kaidi Xu, Gaoyuan Zhang+7 more|arXiv (Cornell University)|Oct 18, 2019

Adversarial Robustness in Machine Learning参考文献 19被引用 18

一句话总结

本文提出一种对抗性T恤，即使在人体运动引起的形变下也能规避实时人体检测器，通过形变感知优化保持攻击有效性。在仿真中取得79%的成功率，在物理部署中对YOLOv2实现63%的成功率，优于先前最先进方法超过35个百分点。

ABSTRACT

It is known that deep neural networks (DNNs) could be vulnerable to adversarial attacks. The so-called physical adversarial examples deceive DNN-based decision makers by attaching adversarial patches to real objects. However, most of the existing works on physical adversarial attacks focus on static objects such as glass frame, stop sign and image attached to a cardboard. In this work, we proposed adversarial T-shirt, a robust physical adversarial example for evading person detectors even if it suffers from deformation due toa moving person's pose change. To the best of our knowledge, the effect of deformation is first modeled for designing physical adversarial examples with respect to non-rigid objects such as T-shirts. We show that the proposed method achieves 79% and 63% attack success rates in digital and physical worlds respectively against YOLOv2. In contrast, the state-of-the-art physical attack method to fool a person detector only achieves 27% attack success rate. Furthermore, by leveraging min-max optimization, we extend our method to the ensemble attack setting against object detectors YOLOv2 and Faster R-CNN simultaneously.

研究动机与目标

• 为解决设计非刚性、可变形物体（如T恤）的鲁棒物理对抗样本的挑战。
• 建模姿态变化引起的形变在物理对抗攻击中对人员检测器的影响。
• 相比针对静态物体的方法，提升在真实部署中的攻击成功率。
• 将方法扩展至对多个检测器（包括YOLOv2和Faster R-CNN）的集成攻击。
• 证明在动态环境中于可穿戴衣物上部署有效对抗样本的可行性。

提出的方法

• 该方法提出一种形变感知优化过程，考虑人体运动时的姿态变化，建模T恤上对抗性图案在不同身体姿态下的形变方式。
• 采用最小-最大优化框架，生成在各种形变下仍有效的对抗性图案，确保在真实部署中的鲁棒性。
• 通过在3D T恤网格上优化图案生成对抗性T恤，模拟人体运动引起的现实形变。
• 该方法集成可微渲染流水线，模拟从多个摄像头视角下对抗性图案在运动人体上的呈现效果。
• 通过联合优化多个检测器（YOLOv2和Faster R-CNN）的最小-最大公式，将方法扩展至集成攻击。
• 该方法使用可微渲染器，通过图像形成过程反向传播梯度，实现对抗性图案的端到端训练。

实验结果

研究问题

• RQ1 可穿戴衣物（如T恤）上的对抗性图案是否能在人体运动引起的显著形变下仍保持有效性？
• RQ2 在对抗性图案生成过程中建模形变，相比基于静态物体的攻击，能否显著提升物理世界中的攻击成功率？
• RQ3 所提方法是否能在物理世界中同时对多个目标检测器实现高攻击成功率？
• RQ4 对抗性T恤在数字仿真与真实世界部署之间的性能差距如何？
• RQ5 最小-最大优化策略如何提升在多种检测器和形变场景下的鲁棒性？

主要发现

• 在数字仿真中，对抗性T恤对YOLOv2实现79%的攻击成功率，显著优于先前最先进方法。
• 在真实世界部署中，该方法达到63%的攻击成功率，较先前最佳方法高出超过35个百分点。
• 所提方法对由人体运动引起的形变表现出鲁棒性，且该形变在图案生成过程中被显式建模。
• 最小-最大优化框架实现了有效的集成攻击，成功同时规避了YOLOv2和Faster R-CNN。
• 本研究首次提供证据表明，形变感知设计对于在非刚性可穿戴物体上实现有效物理对抗攻击至关重要。
• 结果证实，若在攻击生成过程中建模形变，物理世界中的攻击成功率将显著提高。