[論文レビュー] Physical Adversarial Attacks on an Aerial Imagery Object Detector

Andrew Du, Bo Chen+5 more|arXiv (Cornell University)|Aug 26, 2021

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本論文は、上空画像における車両の近くに印刷された adversarial パッチを用いて、実世界の物理的 adversarial 攻撃を実現した最初の研究の一つを提示している。著者らは、実世界の気象的および距離的要因にもかかわらず、車両の外周に最適化されたパターンを持つ off-car パッチが、物体検出の信頼性（objectness スコア）を著しく低下させることを実証した（最低28.8%にまで低下）。

ABSTRACT

Deep neural networks (DNNs) have become essential for processing the vast amounts of aerial imagery collected using earth-observing satellite platforms. However, DNNs are vulnerable towards adversarial examples, and it is expected that this weakness also plagues DNNs for aerial imagery. In this work, we demonstrate one of the first efforts on physical adversarial attacks on aerial imagery, whereby adversarial patches were optimised, fabricated and installed on or near target objects (cars) to significantly reduce the efficacy of an object detector applied on overhead images. Physical adversarial attacks on aerial images, particularly those captured from satellite platforms, are challenged by atmospheric factors (lighting, weather, seasons) and the distance between the observer and target. To investigate the effects of these challenges, we devised novel experiments and metrics to evaluate the efficacy of physical adversarial attacks against object detectors in aerial scenes. Our results indicate the palpable threat posed by physical adversarial attacks towards DNNs for processing satellite imagery.

研究の動機と目的

• 衛星プラットフォームからの上空画像における、深層学習ベースの物体検出器に対する物理的 adversarial 攻撃の実現可能性と有効性を調査すること。
• 照明、天候、季節変化などの大気的要因、長距離の観測者-標的距離、実世界の画像取得制約といった、上空シーンにおける物理的攻撃の独自の課題に対処すること。
• 標的物体（例：車両）を変更しない新たな adversarial パッチ設計を開発・評価し、車両の改造なしに実用的展開を可能とすること。
• 多様な環境条件下での物理的攻撃効果を評価するためのスケーラブルな実験プロトコルと厳密なメトリクスを設計すること。
• パッチ最適化段階でのデータ拡張（例：天候効果）が、実世界でのパフォーマンスに与える影響を評価し、デジタルドメイン評価における仮定に疑問を呈すること。

提案手法

• 上空画像におけるYOLOv3ベースの車両検出器の objectness スコアを最小化する目的関数を用いて、デジタルドメインで adversarial パッチを最適化した。
• 標的車両を周囲む最適化された強度パターンを持つ、新規の「off-car」パッチ設計を提案した。この設計により、車両の改造なしに展開が可能となった。
• 訓練段階でデータ拡張を適用し、照明の変動、天候効果（雨、雪）、季節的変化を含む実世界の大気的条件を模擬した。
• 160 gsm コated 紙に最適化されたパッチを印刷し、ドローンと高層ビルのバルコニーを用いて衛星レベルの視点を模倣した実世界の上空画像を撮影した。
• 複数の環境設定において計算される新しいメトリクス、平均 objectness スコア低下率（OSR）および正規化検出率（NDR）を用いて、攻撃パフォーマンスを評価した。
• アブレーションスタディを実施し、異なる訓練ルーティン（例：天候拡張有無）およびパッチタイプ（on-car 対 off-car）におけるパッチ性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 物理的 adversarial パッチは、実世界の上空画像に成功裏に展開可能であり、物体検出器の性能を劣化させることができるか？
• RQ2 大気の変動（照明、天候、季節）は、上空の物体検出器に対する物理的 adversarial 攻撃の実世界での有効性にどのように影響するか？
• RQ3 パッチ訓練段階で天候および照明効果をシミュレートするデータ拡張を適用することで、実世界テストにおける耐性が向上するか？
• RQ4 車両の外側に設置する「off-car」パッチ設計（地面に設置）は、実世界の上空攻撃シナリオにおいて、on-car パッチよりも実用的かつ効果的であるか？
• RQ5 異なる環境要因（例：運動、照明、天候）は、上空画像における adversarial パッチの検出可能性および有効性にどのように影響するか？

主な発見

• 物理的 adversarial パッチは物体検出性能を著しく劣化させ、実世界テストでは objectness スコアを0.9以上から最低0.288まで低下させた。
• off-car パッチ設計は、側道の車両に対して平均で85%の objectness スコア低下（0.914から0.288に）を達成し、高い実用性を示した。
• 物理的テストでは on-car パッチ（Type ON）が off-car パッチ（Type OFF）よりも効果的であったが、これはデジタルドメインの結果とは逆であり、ドメインシフトの課題を示している。
• 天候効果を含むパッチ訓練（G/C+W）は、実世界パフォーマンスを向上させず、クリーンデータ訓練（G/C）に劣っていた。これは、このタスクにおいて天候拡張が有益でない可能性を示唆している。
• 攻撃効果は車両の色と照明状態に大きく依存した：青色の車両では最も効果的（平均 OSR = 0.208）、白色の車両は静的で日差しの強い条件下で最も影響を受けにくかった（平均 OSR = 0.748）。
• 正規化検出率（NDR）メトリクスは、攻撃が objectness スコアの低い閾値で最も効果的であることを確認した。最も成功した攻撃では NDR が0.3未満に低下した。