[論文レビュー] Adversarial Examples that Fool Detectors

Jiajun Lu, Hussein Sibai+1 more|arXiv (Cornell University)|Dec 7, 2017

Adversarial Robustness in Machine Learning参考文献 27被引用数 105

ひとこと要約

本論文は、Faster RCNNと YOLO 検出器を欺く対向事例をデジタルおよび物理的に示し、視点条件と防御に対する一般化を分析している。

ABSTRACT

An adversarial example is an example that has been adjusted to produce a wrong label when presented to a system at test time. To date, adversarial example constructions have been demonstrated for classifiers, but not for detectors. If adversarial examples that could fool a detector exist, they could be used to (for example) maliciously create security hazards on roads populated with smart vehicles. In this paper, we demonstrate a construction that successfully fools two standard detectors, Faster RCNN and YOLO. The existence of such examples is surprising, as attacking a classifier is very different from attacking a detector, and that the structure of detectors - which must search for their own bounding box, and which cannot estimate that box very accurately - makes it quite likely that adversarial patterns are strongly disrupted. We show that our construction produces adversarial examples that generalize well across sequences digitally, even though large perturbations are needed. We also show that our construction yields physical objects that are adversarial.

研究の動機と目的

• 自律系の実世界の安全性への影響により、分類器だけでなく検出器に対する対向事例の研究を動機づける。
• 対向パターンが2つの標準検出器（Faster RCNNと YOLO）を欺き、モデル間で転移することを示す。
• 視点条件を超えた対向摂動の一般化とデジタル領域から物理領域への一般化を調査する。
• 検出器を標的とした対向攻撃を軽減する簡単な防御策が有効か評価する。
• 停止標識と顔に対する局所的な摂動とグローバルな摂動の実用性を評価する。

提案手法

• 検出器を欺く停止標識と顔の対向テクスチャを生成する、登録と再構成に基づく手法を開発する。
• 物体をルート座標系で表現し、ビューマッピングと照明調整を介して訓練フレームへ写像する。
• 勾配ベースの更新（符号付き勾配を用いる）で、複数フレームにわたって検出器の停止標識または顔スコアを最小化する対向テクスチャTを最適化する。
• 摂動が元の物体と視覚的に類似するようL2距離制約を課し、摂動パターンに影響を与える。
• 物理的な対向テクスチャを印刷し、実物の物体に貼付して現実世界条件下での頑健性をテストする。
• YOLOに対して対向停止標識と顔を評価して転移性をテストし、デジタルおよび物理的一般化を検証する。

Figure 1: Evtimov et al. [ 6 ] generated physical stop signs that are misclassified, however, these stop signs are reliably detected by Faster RCNN. Images from Figure 10 in [ 17 ] .

実験結果

リサーチクエスチョン

• RQ1 対向摂動は Faster RCNN や YOLO のような検出器を欺くことができるか？
• RQ2 対向パターンは検出器間で転移し、異なる視聴条件でも有効であるか？
• RQ3 物理的な対向例は実現可能で、印刷や照明などの実世界条件を生存できるか？
• RQ4 摂動のスケールが攻撃の成功と一般化に与える影響は何か？
• RQ5 簡単な防御技術は検出器を標的とした対向攻撃に対して有効か？

主な発見

• 対向パターンはデジタル画像で Faster RCNN を欺くことができ、停止標識と顔の見逃しや誤ラベルを引き起こす攻撃を含む。
• 攻撃はデジタル的に視点条件を跨いで一般化し、同じ構造は背景によっては特に YOLO へ転移する。
• 適切な状況下で、物理的な対向停止標識と顔は検出器を欺くことができるが、デジタル攻撃と比較してより大きな摂動が必要なことが多い。
• ボックス予測ステップと閾値のため、いくつかのケースで検出器は頑健性を示し、ダウンサンプリングやノイズ除去などの簡単な防御はデジタルまたは物理的に一般化された攻撃を信頼性高く破ることはない。
• 局所的な摂動は小さな領域に限定されると、物理世界では特に、グローバル摂動より一般化された検出器攻撃には効果が薄い。
• データセットを跨いで Faster RCNN から YOLO への一般化は普遍的ではなく、使用される検出器とその一般化能力が攻撃の成功に強く影響する。

Figure 2: Modifying a single stop sign image to attack Faster RCNN is successful. In the original stop sign image (first), the stop sign is reliably detected. In the second image, small perturbations are added to the whole image, and the stop sign is not detected. In the last image, small perturbati