[论文解读] Dangerous Cloaking: Natural Trigger based Backdoor Attacks on Object Detectors in the Physical World

Hua Ma, Yinshan Li+8 more|arXiv (Cornell University)|Jan 21, 2022

Adversarial Robustness in Machine Learning被引用 16

一句话总结

本文提出了一种使用自然物体（如T恤或帽子）作为触发器的物理后门攻击，针对目标检测器，实现‘隐身’效果，使持有这些物品的人无法被检测到。该攻击在各种真实场景条件下均实现了接近完美的成功率（高达100%），且通过标准验证手段难以检测，暴露出部署中的视觉系统存在严重安全风险。

ABSTRACT

Deep learning models have been shown to be vulnerable to recent backdoor attacks. A backdoored model behaves normally for inputs containing no attacker-secretly-chosen trigger and maliciously for inputs with the trigger. To date, backdoor attacks and countermeasures mainly focus on image classification tasks. And most of them are implemented in the digital world with digital triggers. Besides the classification tasks, object detection systems are also considered as one of the basic foundations of computer vision tasks. However, there is no investigation and understanding of the backdoor vulnerability of the object detector, even in the digital world with digital triggers. For the first time, this work demonstrates that existing object detectors are inherently susceptible to physical backdoor attacks. We use a natural T-shirt bought from a market as a trigger to enable the cloaking effect--the person bounding-box disappears in front of the object detector. We show that such a backdoor can be implanted from two exploitable attack scenarios into the object detector, which is outsourced or fine-tuned through a pretrained model. We have extensively evaluated three popular object detection algorithms: anchor-based Yolo-V3, Yolo-V4, and anchor-free CenterNet. Building upon 19 videos shot in real-world scenes, we confirm that the backdoor attack is robust against various factors: movement, distance, angle, non-rigid deformation, and lighting. Specifically, the attack success rate (ASR) in most videos is 100% or close to it, while the clean data accuracy of the backdoored model is the same as its clean counterpart. The latter implies that it is infeasible to detect the backdoor behavior merely through a validation set. The averaged ASR still remains sufficiently high to be 78% in the transfer learning attack scenarios evaluated on CenterNet. See the demo video on https://youtu.be/Q3HOF4OobbY.

研究动机与目标

• 研究目标检测器在使用自然日常物品作为触发器的物理后门攻击下的脆弱性。
• 展示‘隐身’型后门攻击的可行性，即持有触发器物体的人可被模型完全忽略。
• 评估此类攻击在真实世界变化（如移动、光照、距离和视角）下的鲁棒性。
• 探索在模型外包和微调场景下的攻击向量。
• 揭示现有针对目标检测后门的防御机制缺失，并呼吁开发新型、高效且易用的对抗措施。

提出的方法

• 攻击使用自然物体（如市售T恤或帽子）作为物理触发器，将后门植入目标检测器。
• 通过数据中毒训练后门，将触发器物体附加到训练数据中的目标实例（如人员）上。
• 对于对标准数据中毒具有抗性的两阶段检测器（如Faster R-CNN），作者提出构造性训练调控方法，以实现后门的成功植入。
• 该方法在四种目标检测器（YOLO-V3、YOLO-V4、Faster R-CNN、CenterNet）上进行评估，使用19个真实世界视频序列（约11,800帧）。
• 额外的中毒样本针对特定挑战性条件（如低光照、远距离）进行调优，以提升鲁棒性。
• 探索了微调和剪枝作为潜在防御手段，但认为其计算开销过大，不适用于实际应用。

实验结果

研究问题

• RQ1 自然日常物品能否作为有效物理触发器，在目标检测器中实现隐身型后门攻击？
• RQ2 在真实物理变化（如移动、距离、光照、相机角度）下，隐身型后门攻击的鲁棒性如何？
• RQ3 为何两阶段检测器（如Faster R-CNN）对标准数据中毒具有抗性？这种抗性如何被克服？
• RQ4 后门能否在模型外包和微调场景中成功植入并保持有效？
• RQ5 现有防御机制在保护目标检测器免受此类后门攻击方面存在哪些局限性？

主要发现

• 隐身型后门攻击在大多数真实世界视频序列中实现了100%的攻击成功率，即使在长距离和非刚性形变等极端条件下也表现稳定。
• 在迁移学习场景下，当在CenterNet上评估时，攻击成功率仍保持在78%，表明其具有强大的泛化能力。
• 后门模型在干净数据上的准确率与原始模型完全一致，使得通过标准验证集检测后门变得不可行。
• Faster R-CNN作为两阶段检测器，对标准数据中毒具有抗性，但通过专门设计的训练调控方法可被成功植入后门。
• 微调后门模型可降低攻击成功率，表明其具有作为缓解路径的潜力，但计算成本过高。
• 现有任何后门防御机制均无法直接应用于目标检测，凸显了开发新型、高效且用户友好的防御机制的紧迫需求。