[論文レビュー] Fooling Detection Alone is Not Enough: First Adversarial Attack against Multiple Object Tracking

Yunhan Jia, Yantao Lu+4 more|arXiv (Cornell University)|May 27, 2019

Adversarial Robustness in Machine Learning参考文献 31被引用数 19

ひとこと要約

本論文は、トラッキング誤差低減の仕組みを活用することで、自動運転における複数対象追跡（MOT）段階を標的とする、新たな敵対的攻撃「トラッカー乗っ取り」を提案する。この攻撃は、わずか1フレームの敵対的摂動で効果を発揮し、3フレーム攻撃した場合にBerkeley Deep Driveデータセットでほぼ100％の成功率を達成する。これは、同じ条件下で検出のみを標的とする攻撃が25％で上限に達するのに対し、著しく優れている。

ABSTRACT

Recent work in adversarial machine learning started to focus on the visual perception in autonomous driving and studied Adversarial Examples (AEs) for object detection models. However, in such visual perception pipeline the detected objects must also be tracked, in a process called Multiple Object Tracking (MOT), to build the moving trajectories of surrounding obstacles. Since MOT is designed to be robust against errors in object detection, it poses a general challenge to existing attack techniques that blindly target objection detection: we find that a success rate of over 98% is needed for them to actually affect the tracking results, a requirement that no existing attack technique can satisfy. In this paper, we are the first to study adversarial machine learning attacks against the complete visual perception pipeline in autonomous driving, and discover a novel attack technique, tracker hijacking, that can effectively fool MOT using AEs on object detection. Using our technique, successful AEs on as few as one single frame can move an existing object in to or out of the headway of an autonomous vehicle to cause potential safety hazards. We perform evaluation using the Berkeley Deep Drive dataset and find that on average when 3 frames are attacked, our attack can have a nearly 100% success rate while attacks that blindly target object detection only have up to 25%.

研究の動機と目的

• 自動運転における複数対象追跡（MOT）の耐性についての研究が不足している現状を是正すること。特に、敵対的機械学習研究が検出にのみ焦点を当て、MOTの堅牢性を軽視しているというギャップを埋める。
• MOTが内在する誤差補正メカニズムを踏まえると、検出のみを標的とする敵対的攻撃が、最終的なトラッキング出力に効果的に影響を与えるかどうかを調査すること。
• MOTのトラッキング誤差低減プロセスを悪用することで、最小限の敵対的摂動で物体の軌道を誤魔化す新たな攻撃技術を開発すること。
• Berkeley Deep Driveデータセットと標準的なMOT設定を用いて、現実的な条件下でのこの攻撃の有効性を評価すること。
• 将来の自動運転用敵対的機械学習研究において、MOTの精度を重要な評価指標として位置づけるよう提言すること。

提案手法

• 攻撃は、MOTにおける誤差低減プロセスに焦点を当てた敵対的バウンディングボックスを生成する。具体的には、検出結果と既存のトラックとの関連付けを操作することで攻撃を実現する。
• YOLOv3の物体検出器を用いて、トラッカーが誤った軌道に検出結果を関連付けさせるように設計された敵対的例を生成する。
• 敵対的摂動は、通常は1～2フレーム程度の少数のフレームに適用され、特定の物体の位置を標的にして軌道のずれを引き起こす。
• MOTはフレーム間での一貫性と安定性を活用してトラックを維持するため、わずかな敵対的シフトを加えることで、予測軌道を乗っ取ることが可能になる。
• 攻撃は、現実的なノイズレベルと標準的なMOTアルゴリズム設定（例：IoUベースのデータ関連付け）の下で、Berkeley Deep Driveデータセットを用いて評価される。
• 本手法は、他の検出モデルやトラッキングメカニズム（例：外観ベースの一致）に対しても、わずかな調整で汎用的に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 検出のみを標的とする敵対的攻撃は、自動運転システムにおける最終的なトラッキング出力を効果的に損なうことができるか？
• RQ2 高い検出成功率を示すにもかかわらず、なぜ既存の検出のみの攻撃はMOTに影響を与えないのか？
• RQ3 MOTの誤差低減メカニズムを効果的に悪用し、最小限のフレーム数で物体の軌道を乗っ取るためには、敵対的摂動をどのように配置すべきか？
• RQ4 MOTにおける追跡対象の予測軌道を成功裏に変更するために、必要な最小フレーム数はどれくらいか？
• RQ5 同じ条件下で、トラッカー乗っ取り攻撃は検出のみの攻撃と比べて、定量的にどの程度の成功率を示すか？

主な発見

• 3つの連続フレームを攻撃した場合、トラッカー乗っ取り攻撃はほぼ100％の成功率を達成する。これは、同じ条件下で検出のみの攻撃が25％で上限に達するのに対し、著しく優れている。
• わずか1フレームの敵対的フレームで物体の軌道を効果的に変更できるため、高い効率性と低検出性を示している。
• 検出成功率が98.3％にとどまるにもかかわらず、検出のみの攻撃はMOTに確実に影響を与えることができない。これは、トラックの混乱を維持するには30fpsで60フレーム連続で成功する必要があるためである。
• トラッカー乗っ取り攻撃は、現実的なノイズレベルと標準的なMOT設定下でも頑健であることが確認され、実用的な妥当性を裏付けている。
• 本手法は、他の物体検出モデルやトラッキングメカニズム（例：外観ベースの関連付け）に対しても、わずかな調整で汎用的に適用可能である。
• 本研究は、MOTが自動運転向け敵対的機械学習研究において重要なが、軽視されている要因であることを明らかにした。今後の評価フレームワークには、MOTの精度を不可欠な評価指標として組み込む必要がある。