[論文レビュー] TOG: Targeted Adversarial Objectness Gradient Attacks on Real-time Object Detection Systems

Ka Ho Chow, Ling Liu+4 more|arXiv (Cornell University)|Apr 9, 2020

Adversarial Robustness in Machine Learning参考文献 15被引用数 13

ひとこと要約

本稿では、物体検出の勾配を活用してリアルタイム物体検出システムにおける物体消滅、物体生成、物体誤分類を引き起こす、TOGと呼ばれる標的型対人攻撃のファミリーを紹介する。敵対的転送性を活用することで、オンラインコストをほとんど要せず、人間が感知できない攻撃を実現し、PASCAL VOCおよびMS COCOベンチマークにおけるエッジベースDNN検出器における深刻な脆弱性を示している。

ABSTRACT

The rapid growth of real-time huge data capturing has pushed the deep learning and data analytic computing to the edge systems. Real-time object recognition on the edge is one of the representative deep neural network (DNN) powered edge systems for real-world mission-critical applications, such as autonomous driving and augmented reality. While DNN powered object detection edge systems celebrate many life-enriching opportunities, they also open doors for misuse and abuse. This paper presents three Targeted adversarial Objectness Gradient attacks, coined as TOG, which can cause the state-of-the-art deep object detection networks to suffer from object-vanishing, object-fabrication, and object-mislabeling attacks. We also present a universal objectness gradient attack to use adversarial transferability for black-box attacks, which is effective on any inputs with negligible attack time cost, low human perceptibility, and particularly detrimental to object detection edge systems. We report our experimental measurements using two benchmark datasets (PASCAL VOC and MS COCO) on two state-of-the-art detection algorithms (YOLO and SSD). The results demonstrate serious adversarial vulnerabilities and the compelling need for developing robust object detection systems.

研究の動機と目的

• エッジデバイスに実装されたリアルタイムディープラーニング物体検出システムにおける深刻な敵対的脆弱性を特定・活用すること。
• 人間の知覚に影響を与えないように、物体検出の意味的性質（物体の消滅、生成、誤分類）を操作する標的型攻撃を開発すること。
• オンラインコストにほぼ影響を及ぼさない、ユニバーサルな敵対的摂動法を設計すること。
• YOLO、SSDなどの最先端検出器およびPASCAL VOC、MS COCOなどのデータセットにおいて、TOG攻撃の転送性を評価すること。
• ミッションクリティカルなエッジAIアプリケーションにおける、強力でアンサンブルベースの防御メカニズムの緊急の必要性を示すこと。

提案手法

• 物体検出器の特徴空間における物体検出勾配に基づいて、敵対的摂動を最適化することで、物体消滅、物体生成、物体誤分類を引き起こす3つの標的型敵対的攻撃（TOG-vanishing, TOG-fabrication, TOG-mislabeling）を提案する。
• 勾配ベースの最適化を用いて、視覚的忠実度を保ちつつ、物体検出予測を変更する最小限の、人間が感知できない摂動を入力画像に挿入する。
• すべての入力に対して有効な1つの摂動を生成するユニバーサル敵対的摂動アルゴリズムを導入し、事前にオフラインで訓練することでブラックボックス展開を可能にする。
• 敵対的転送性を活用して、被害者モデルのアクセスなしに未確認のモデルに対しても攻撃を実行できるようにする。1つの検出器で訓練した摂動を、他の検出器を欺くのにも使用する。
• YOLOv3とSSDを主な被害者モデルとし、PASCAL VOCおよびMS COCOデータセットを用いて攻撃の有効性と転送性を検証する。
• 摂動最適化中に、特定の物体検出意味的性質（例：消滅のためのゼロの信頼度、生成のための高い信頼度）を標的にする勾配ベースの損失関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイム物体検出器において、物体検出の意味的性質（例：物体の消滅や生成）を操作できる標的型敵対的攻撃を設計できるか？
• RQ2 ユニバーサル敵対的摂動は、最小限のオンラインコストで、多様な物体検出モデルに対するブラックボックス攻撃を効果的に可能にするか？
• RQ3 TOG攻撃は、異なる物体検出アーキテクチャ（例：YOLOv3, SSD）およびデータセット（PASCAL VOC, MS COCO）間でどの程度転送可能か？
• RQ4 物体検出の意味的性質（消滅、生成、誤分類）および検出器のバリエーションごとに、攻撃の成功率はどのように変化するか？
• RQ5 被害者モデルのアーキテクチャや重みの事前知識なしに、転送性を信頼性を持って活用して効果的な攻撃を実行できるか？

主な発見

• TOG攻撃は、PASCAL VOCおよびMS COCOデータセットのYOLOv3およびSSDモデルにおいて、人間が感知できない摂動で物体消滅、物体生成、物体誤分類を成功裏に引き起こした。
• ユニバーサルTOG攻撃は、オンラインコストにほぼ影響を及ぼさず、SSD512やYOLOv3-D、YOLOv3-Mなどの複数の被害者検出器を転送性により効果的に欺いた。
• TOG攻撃の転送性は顕著に異なる：TOG-universalおよびTOG-mislabeling（LL）は、SSD512およびYOLOv3のバリエーションに対して強い転送性を示したが、TOG-mislabeling（ML）およびTOG-fabricationは部分的または一貫性のない転送性を示した。
• TOG-vanishing攻撃は、SSD512に対して完全な転送性を達成し、検出出力において完全な物体欠如を引き起こした。ブラックボックス環境下での高い利用可能性を示している。
• TOG-fabrication攻撃は、複数の検出器で多数の偽陽性を生成し、異なるアーキテクチャ間でも偽オブジェクトの数が著しく残存した。
• 実験結果から、リアルタイム物体検出器における敵対的脆弱性は深刻で持続的であることが確認され、特に転送可能なユニバーサル摂動の下で顕著であり、強力な防御メカニズムの必要性が強調された。