[论文解读] Fooling Detection Alone is Not Enough: Adversarial Attack against Multiple Object Tracking

Yunhan Jia, Yantao Lu+5 more|arXiv (Cornell University)|Apr 30, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用 56

一句话总结

本文提出了一种新型对抗性攻击——追踪器劫持（tracker hijacking），该攻击通过利用多目标追踪（MOT）中的弱点，而非仅针对目标检测，从而针对自动驾驶中的整个视觉感知流程发起攻击。通过在最少仅一个帧上生成对抗性样本，该攻击在操控目标轨迹方面实现了接近100%的成功率，表明仅欺骗检测阶段是不够的，因为MOT的鲁棒性要求检测阶段的攻击成功率超过98%才能影响追踪结果。

ABSTRACT

Recent work in adversarial machine learning started to focus on the visual perception in autonomous driving and studied Adversarial Examples (AEs) for object detection models. However, in such visual perception pipeline the detected objects must also be tracked, in a process called Multiple Object Tracking (MOT), to build the moving trajectories of surrounding obstacles. Since MOT is designed to be robust against errors in object detection, it poses a general challenge to existing attack techniques that blindly target objection detection: we find that a success rate of over 98% is needed for them to actually affect the tracking results, a requirement that no existing attack technique can satisfy. In this paper, we are the first to study adversarial machine learning attacks against the complete visual perception pipeline in autonomous driving, and discover a novel attack technique, tracker hijacking, that can effectively fool MOT using AEs on object detection. Using our technique, successful AEs on as few as one single frame can move an existing object in to or out of the headway of an autonomous vehicle to cause potential safety hazards. We perform evaluation using the Berkeley Deep Drive dataset and find that on average when 3 frames are attacked, our attack can have a nearly 100% success rate while attacks that blindly target object detection only have up to 25%.

研究动机与目标

• 解决现有对抗性攻击仅关注目标检测而忽略自动驾驶感知流程中多目标追踪（MOT）鲁棒性的空白。
• 探究为何现有攻击在目标检测上成功率很高，却仍无法破坏MOT的原因。
• 开发一种新的攻击策略，通过利用追踪机制中的漏洞，有效破坏MOT。
• 评估对抗性攻击对完整感知流程（包括轨迹操控）在现实世界中的安全影响。

提出的方法

• 设计一种名为“追踪器劫持”的新型攻击技术，专门针对MOT的追踪组件，而非仅检测阶段。
• 生成对抗性样本，使其即使在需要超过98%成功率的高阈值下仍具有效性，以破坏MOT。
• 使用伯克利深度驱动数据集（Berkeley Deep Drive dataset）模拟真实的自动驾驶场景，并在多帧上评估攻击效果。
• 优化对抗性扰动，以最小化实现追踪失败所需的帧数，重点聚焦于单帧攻击。
• 分析检测与追踪模块之间的交互，识别MOT对对抗性输入响应中的漏洞。
• 在相同条件下，将追踪器劫持与传统仅针对检测的攻击进行性能对比。

实验结果

研究问题

• RQ1 为何现有对抗性攻击在目标检测上成功率很高，却仍无法破坏多目标追踪（MOT）？
• RQ2 在目标检测上实现成功操纵MOT结果，所需的最低攻击成功率是多少？
• RQ3 能否设计出直接利用追踪机制的对抗性样本，以极小的帧扰动实现轨迹操控？
• RQ4 在真实自动驾驶场景中，追踪器劫持与仅针对检测的攻击相比，效果如何？
• RQ5 对自动驾驶车辆前方轨迹进行操控的对抗性攻击，其安全影响是什么？

主要发现

• 当攻击3帧时，所提出的追踪器劫持方法在操控目标轨迹方面实现了接近100%的成功率。
• 相比之下，传统仅针对检测的攻击在相同条件下最高仅能达到25%的成功率。
• 研究发现，MOT需要在检测阶段实现超过98%的攻击成功率才能被有效破坏，而现有技术尚未达到这一阈值。
• 单个对抗性帧就足以导致被追踪目标被插入或移除出车辆的跟车区域，直接构成安全风险。
• 结果表明，仅欺骗目标检测不足以实现对完整感知流程的有效对抗性攻击。
• 追踪器劫持方法成功利用了检测与追踪之间的交互，使其显著优于仅针对检测的攻击。