[論文レビュー] Fooling Detection Alone is Not Enough: Adversarial Attack against Multiple Object Tracking

Yunhan Jia, Yantao Lu+5 more|arXiv (Cornell University)|Apr 30, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用数 56

ひとこと要約

本論文は、オートノミアスドライブの視覚的認識パイプライン全体を標的にする、新たな敵対的攻撃「トラッカー・ハイジャック」を紹介する。この攻撃は、オブジェクト検出にとどまらず、複数オブジェクト追跡（MOT）における弱みを突くものである。わずか1フレームの敵対的例を生成するだけで、物体の軌道をほぼ100％の成功率で操作可能であり、検出をだますだけでは不十分であることが示された。MOTの頑健性を損なうには、検出段階で98％以上の攻撃成功率が求められるためである。

ABSTRACT

Recent work in adversarial machine learning started to focus on the visual perception in autonomous driving and studied Adversarial Examples (AEs) for object detection models. However, in such visual perception pipeline the detected objects must also be tracked, in a process called Multiple Object Tracking (MOT), to build the moving trajectories of surrounding obstacles. Since MOT is designed to be robust against errors in object detection, it poses a general challenge to existing attack techniques that blindly target objection detection: we find that a success rate of over 98% is needed for them to actually affect the tracking results, a requirement that no existing attack technique can satisfy. In this paper, we are the first to study adversarial machine learning attacks against the complete visual perception pipeline in autonomous driving, and discover a novel attack technique, tracker hijacking, that can effectively fool MOT using AEs on object detection. Using our technique, successful AEs on as few as one single frame can move an existing object in to or out of the headway of an autonomous vehicle to cause potential safety hazards. We perform evaluation using the Berkeley Deep Drive dataset and find that on average when 3 frames are attacked, our attack can have a nearly 100% success rate while attacks that blindly target object detection only have up to 25%.

研究の動機と目的

• 自律走行車両のパイプラインにおける複数オブジェクト追跡（MOT）の頑健性を無視する敵対的攻撃のギャップを埋める。
• 高水準の検出成功を達成してもMOTを崩壊させられない理由を解明する。
• MOTの追跡メカニズムを悪用することで、MOTを効果的に損なう新たな攻撃戦略を開発する。
• 認識パイプライン全体、特に軌道操作を含む、敵対的攻撃の実世界における安全性への影響を評価する。

提案手法

• 検出ステージではなく、MOTの追跡部に特化した、新たな攻撃技術「トラッカー・ハイジャック」を設計する。
• MOTを崩壊させるには98％を超える検出段階での攻撃成功率が求められるという高い閾値を満たすように、効果的な敵対的例を生成する。
• バークレー・ディープドライブデータセットを用いて、リアルな自律走行車両のシナリオをシミュレートし、複数フレームにわたる攻撃効果を評価する。
• 追跡の失敗を達成するために必要なフレーム数を最小限に抑えるため、単一フレーム攻撃に最適化された敵対的摂動を設計する。
• オブジェクト検出モジュールと追跡モジュールの相互作用を分析し、MOTが敵対的入力に対して示す脆弱性を同定する。
• 同一条件下で、トラッカー・ハイジャックと従来の検出のみを標的とする攻撃の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 高水準の検出成功を達成しても、なぜ従来の敵対的攻撃はMOTを崩壊させられないのか？
• RQ2 MOTの結果を効果的に操作するために、検出段階で必要な最小限の攻撃成功率はどの程度か？
• RQ3 追跡メカニズムを直接的につかって、最小限のフレーム摂動で軌道操作が可能な敵対的例を設計できるか？
• RQ4 実世界の自律走行車両のシナリオにおいて、トラッカー・ハイジャックは検出のみを標的とする攻撃よりも効果的か？
• RQ5 自律走行車両の前方の軌道を操作する敵対的攻撃が、安全性にどのような影響を与えるか？

主な発見

• 3フレームを攻撃した場合、提案手法のトラッカー・ハイジャックは、物体の軌道を操作する成功率がほぼ100％に達する。
• これに対して、従来の検出のみを標的とする攻撃は、同じ条件下で最大25％の成功率にとどまる。
• 本研究では、MOTを効果的に崩壊させるには、検出段階で98％を超える攻撃成功率が必要であることが判明した。これは、従来の技術では達成されていない。
• 1つの敵対的フレームで十分であり、追跡対象の物体が車両の前方に挿入されたり、削除されたりする可能性があり、直接的な安全リスクを引き起こす。
• オブジェクト検出をだますだけでは、認識パイプライン全体に対する効果的な敵対的攻撃とはならないことが実証された。
• トラッカー・ハイジャック手法は、検出と追跡の相互作用を効果的に悪用しており、検出中心の攻撃よりもはるかに効果的である。