[論文レビュー] Dangerous Cloaking: Natural Trigger based Backdoor Attacks on Object Detectors in the Physical World

Hua Ma, Yinshan Li+8 more|arXiv (Cornell University)|Jan 21, 2022

Adversarial Robustness in Machine Learning被引用数 16

ひとこと要約

本稿では、Tシャツや帽子などの日常的で自然な物体をトリガーとして用い、人物が検出から「消える」ようにする『クローキング』効果をもたらす物理的バックドア攻撃を提案する。この攻撃は、多様な現実世界の条件下でもほぼ完璧な成功率（最大100％）を達成し、標準的な検証手法では検出不可能であるため、展開済みのビジョンシステムにおける深刻なセキュリティリスクを示している。

ABSTRACT

Deep learning models have been shown to be vulnerable to recent backdoor attacks. A backdoored model behaves normally for inputs containing no attacker-secretly-chosen trigger and maliciously for inputs with the trigger. To date, backdoor attacks and countermeasures mainly focus on image classification tasks. And most of them are implemented in the digital world with digital triggers. Besides the classification tasks, object detection systems are also considered as one of the basic foundations of computer vision tasks. However, there is no investigation and understanding of the backdoor vulnerability of the object detector, even in the digital world with digital triggers. For the first time, this work demonstrates that existing object detectors are inherently susceptible to physical backdoor attacks. We use a natural T-shirt bought from a market as a trigger to enable the cloaking effect--the person bounding-box disappears in front of the object detector. We show that such a backdoor can be implanted from two exploitable attack scenarios into the object detector, which is outsourced or fine-tuned through a pretrained model. We have extensively evaluated three popular object detection algorithms: anchor-based Yolo-V3, Yolo-V4, and anchor-free CenterNet. Building upon 19 videos shot in real-world scenes, we confirm that the backdoor attack is robust against various factors: movement, distance, angle, non-rigid deformation, and lighting. Specifically, the attack success rate (ASR) in most videos is 100% or close to it, while the clean data accuracy of the backdoored model is the same as its clean counterpart. The latter implies that it is infeasible to detect the backdoor behavior merely through a validation set. The averaged ASR still remains sufficiently high to be 78% in the transfer learning attack scenarios evaluated on CenterNet. See the demo video on https://youtu.be/Q3HOF4OobbY.

研究の動機と目的

• 自然で日常的な物体をトリガーとして用いた物理的バックドア攻撃が、オブジェクト検出器に与える脆弱性を調査すること。
• 人物がトリガー物体（例：Tシャツ）を所持している場合に、モデルがその人物を検出しなくなる『クローキング』バックドア効果の実現可能性を示すこと。
• 移動、照明、距離、視点角度などの現実世界の変動要因に対して、こうした攻撃の頑健性を評価すること。
• モデルのアウトソーシングおよびファインチューニングのシナリオにおける攻撃ベクトルを検討すること。
• オブジェクト検出用バックドア攻撃に対する既存の防御策の欠如を強調し、新たな効率的で使いやすい対策の開発を呼びかけること。

提案手法

• 攻撃は、市販のTシャツや帽子などの自然な物体を物理的トリガーとして用い、オブジェクト検出器にバックドアを埋め込む。
• トリガー物体を訓練データ内のターゲットインスタンス（例：人物）に付着させることで、データ汚染によるバックドア学習を実施する。
• 標準的なデータ汚染に対して抵抗性を示す二段階検出器（例：Faster R-CNN）のため、成功したバックドア埋め込みを可能にするために、構築的訓練規則を導入する。
• YOLO-V3、YOLO-V4、Faster R-CNN、CenterNetの4つのオブジェクト検出器を対象とし、19の現実世界の動画シーケンス（約11,800フレーム）を用いて評価する。
• 特に低照度や長距離など、困難な状況に適応するよう、追加の汚染サンプルを調整して頑健性を向上させる。
• ファインチューニングとプルーニングを、潜在的な対策として検討したが、実用的用途では計算コストが高いため不適切とされた。

実験結果

リサーチクエスチョン

• RQ1 自然で日常的な物体は、オブジェクト検出器における効果的な物理的トリガーとして機能できるか？
• RQ2 移動、距離、照明、カメラの角度などの現実世界の物理的変動要因に対して、クローキングバックドア攻撃はどの程度頑健か？
• RQ3 Faster R-CNN などの二段階検出器はなぜ標準的なデータ汚染に対して抵抗性を示すのか？ そして、この抵抗性はどのように克服できるか？
• RQ4 モデルのアウトソーシングおよびファインチューニングのシナリオにおいて、バックドアは埋め込まれ、効果を保つことができるか？
• RQ5 既存のバックドア防御メカニズムは、こうしたバックドア攻撃からオブジェクト検出器を保護するのにどの程度有効か？

主な発見

• クローキングバックドア攻撃は、長距離や非剛体変形などの極端な状況下でも、多数の現実世界の動画シーケンスで100％の攻撃成功率を達成した。
• センター検出器（CenterNet）を用いた転移学習のシナリオでも、78％の高い攻撃成功率を示し、優れた一般化性能を示した。
• バックドアが埋め込まれたモデルは、元のモデルと同等のクリーンデータ精度を維持しており、標準的な検証セットによる検出は不可能である。
• 二段階検出器のFaster R-CNNは、標準的なデータ汚染に対して抵抗性を示すが、特別に設計された訓練規則を用いることで、成功裏にバックドアを埋め込むことが可能となった。
• バックドアが埋め込まれたモデルのファインチューニングは攻撃成功率を低下させたため、これは潜在的な緩和策であるが、計算コストが高いため実用的ではない。
• 既存のバックドア防御メカニズムは、オブジェクト検出用に直接適用可能ではなく、新たな効率的で使いやすい防御策の開発が急務であることを示唆している。