[论文解读] Adversarial T-shirt! Evading Person Detectors in A Physical World

Kaidi Xu, Gaoyuan Zhang+7 more|arXiv (Cornell University)|Oct 18, 2019

Adversarial Robustness in Machine Learning参考文献 31被引用 38

一句话总结

论文介绍 Adversarial T-shirts，一种非刚性、基于 TPS 的物理攻击，可以随姿态变化变形，以躲避如 YOLOv2 和 Faster R-CNN 的行人检测器，包括一个 min-max 集成扩展。

ABSTRACT

It is known that deep neural networks (DNNs) are vulnerable to adversarial attacks. The so-called physical adversarial examples deceive DNN-based decisionmakers by attaching adversarial patches to real objects. However, most of the existing works on physical adversarial attacks focus on static objects such as glass frames, stop signs and images attached to cardboard. In this work, we proposed adversarial T-shirts, a robust physical adversarial example for evading person detectors even if it could undergo non-rigid deformation due to a moving person's pose changes. To the best of our knowledge, this is the first work that models the effect of deformation for designing physical adversarial examples with respect to-rigid objects such as T-shirts. We show that the proposed method achieves74% and 57% attack success rates in the digital and physical worlds respectively against YOLOv2. In contrast, the state-of-the-art physical attack method to fool a person detector only achieves 18% attack success rate. Furthermore, by leveraging min-max optimization, we extend our method to the ensemble attack setting against two object detectors YOLO-v2 and Faster R-CNN simultaneously.

研究动机与目标

• 激励在真实世界、非静态条件下对 DNN 的行人检测鲁棒性评估。
• 开发一种在非刚性布料变形下仍然有效的物理对抗性可穿戴设备。
• 提出基于 TPS 的变形模型以捕捉姿态引起的布料变化。
• 设计一种通用扰动用于单一检测器和合集检测器的攻击。
• 在数字和物理实验中对多种检测器评估该方法。

提出的方法

• 使用薄板样条 (TPS) 转换器，将仿射和非仿射扭曲结合起来，建模布料变形。
• 使用棋盘格模式检测控制点并跨帧对齐 TPS。
• 构建基于 Transformation 的期望优化（EoT），在 TPS 和颜色变换下最小化行人检测置信度损失。
• 纳入颜色变换模型，将数字扰动映射为可打印图案。
• 应用 min-max 集成优化，同时欺骗多个检测器（YOLOv2 和 Faster R-CNN）。

实验结果

研究问题

• RQ1 非刚性变形的对抗模式是否能在物理世界中持续愚弄现代行人检测器？
• RQ2 纳入基于 TPS 的变形对单个与多个检测器的物理世界攻击成功率有何影响？
• RQ3 在攻击多个检测器时，min-max 集成攻击相比对损失取平均有何好处？
• RQ4 Adversarial T-shirt 对姿态变化、距离和环境变化的鲁棒性如何？
• RQ5 该方法能否从数字仿真转移到现实世界的可穿戴设备？

主要发现

• 对 YOLOv2，在数字世界的攻击成功率为 74%，在物理世界为 57%。
• 对 Faster R-CNN，数字端 61%，物理端 47%。
• 与 advPatch 基线相比，广告 T 恤显著提升 ASR（例如对 YOLOv2 的数字端 74% vs 24%）。
• TPS 变形至关重要；去除 TPS 会使 YOLOv2 ASR 从 74% 降至 48%，Faster R-CNN ASR 从 61% 降至 34%（单检测器设置）。
• 在攻击 Faster R-CNN 时，min-max 集成攻击的 ASR 的提升超过取平均，约有 15% 的收益；对 YOLOv2 略有权衡。
• 在物理世界测试中，Adversarial T-shirt 对 YOLOv2 平均达到 57% 的 ASR，对 Faster R-CNN 为 47%，覆盖室内、室外和不可预见场景。