[论文解读] Fooling Detection Alone is Not Enough: First Adversarial Attack against Multiple Object Tracking

Yunhan Jia, Yantao Lu+4 more|arXiv (Cornell University)|May 27, 2019

Adversarial Robustness in Machine Learning参考文献 31被引用 19

一句话总结

本文提出追踪器劫持（tracker hijacking），一种新型对抗性攻击，通过利用追踪误差减少机制，针对自动驾驶中的多目标追踪（MOT）阶段进行攻击，仅需一次帧的对抗性扰动即可成功，当攻击3帧时在伯克利深度驾驶数据集上成功率接近100%，远超仅针对检测的攻击（相同条件下最高仅25%）。

ABSTRACT

Recent work in adversarial machine learning started to focus on the visual perception in autonomous driving and studied Adversarial Examples (AEs) for object detection models. However, in such visual perception pipeline the detected objects must also be tracked, in a process called Multiple Object Tracking (MOT), to build the moving trajectories of surrounding obstacles. Since MOT is designed to be robust against errors in object detection, it poses a general challenge to existing attack techniques that blindly target objection detection: we find that a success rate of over 98% is needed for them to actually affect the tracking results, a requirement that no existing attack technique can satisfy. In this paper, we are the first to study adversarial machine learning attacks against the complete visual perception pipeline in autonomous driving, and discover a novel attack technique, tracker hijacking, that can effectively fool MOT using AEs on object detection. Using our technique, successful AEs on as few as one single frame can move an existing object in to or out of the headway of an autonomous vehicle to cause potential safety hazards. We perform evaluation using the Berkeley Deep Drive dataset and find that on average when 3 frames are attacked, our attack can have a nearly 100% success rate while attacks that blindly target object detection only have up to 25%.

研究动机与目标

• 填补对抗性机器学习研究中仅关注目标检测而忽视自动驾驶中多目标追踪（MOT）鲁棒性的空白。
• 探究仅对目标检测进行对抗性攻击是否能有效影响最终的追踪输出，考虑到MOT固有的误差校正机制。
• 开发一种新攻击技术，利用MOT的追踪误差减少过程，通过最少的对抗性扰动误导目标轨迹。
• 使用伯克利深度驾驶数据集和标准MOT配置，在真实条件下评估该新攻击的有效性。
• 倡导将MOT准确率作为未来自动驾驶系统对抗性机器学习研究中的关键评估指标。

提出的方法

• 该攻击生成对抗性边界框，针对MOT中的误差减少过程，具体通过操纵检测结果与现有轨迹之间的关联。
• 利用YOLOv3目标检测器生成对抗性样本，旨在误导追踪器将检测结果错误地关联到不正确的轨迹上。
• 对抗性扰动仅应用于少量帧——通常仅一到两帧——并针对特定目标位置，以引发轨迹偏移。
• 该方法利用MOT通过帧间一致性与稳定性维持轨迹的特性，通过引入微小的对抗性偏移，即可劫持预测轨迹。
• 在真实噪声水平和标准MOT算法配置（如基于IoU的数据关联）下，使用伯克利深度驾驶数据集对攻击进行评估。
• 该方法可推广至其他检测模型和追踪机制（包括基于外观的匹配），仅需少量调整。

实验结果

研究问题

• RQ1 仅对目标检测进行对抗性攻击是否能有效破坏自动驾驶系统中的最终追踪输出？
• RQ2 为何现有仅针对检测的攻击尽管在检测任务上成功率很高，却无法有效影响MOT？
• RQ3 如何战略性地放置对抗性扰动，以利用MOT的误差减少机制，实现以最少帧数劫持目标轨迹？
• RQ4 在MOT中，成功改变被追踪目标预测轨迹所需的最少帧数是多少？
• RQ5 在相同条件下，追踪器劫持与仅针对检测的攻击在成功率上的定量比较如何？

主要发现

• 当连续攻击3帧时，追踪器劫持的成功率接近100%，显著优于仅针对检测的攻击（相同条件下最高仅25%）。
• 该攻击仅需一个对抗性帧即可成功改变目标轨迹，展现出极高的效率和低可检测性。
• 即使检测成功率仅为98.3%，仅针对检测的攻击仍无法可靠影响MOT，因为需要连续60帧（30 fps下）的检测成功才能维持追踪破坏。
• 追踪器劫持攻击在真实噪声水平和标准MOT配置下表现稳健，证实了其实际可行性。
• 该方法可推广至其他目标检测模型和追踪机制（如基于外观的关联），仅需少量适配。
• 本研究揭示MOT是自动驾驶对抗性机器学习研究中一个关键但被忽视的环节，亟需纳入未来评估框架。