[論文レビュー] Physical Adversarial Attacks For Camera-based Smart Systems: Current Trends, Categorization, Applications, Research Challenges, and Future Outlook

Amira Guesmi, Muhammad Abdullah Hanif+2 more|arXiv (Cornell University)|Aug 11, 2023

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本論文は、カメラベースのスマートシステムを標的とする物理的 adversarial 攻撃について包括的なサーベイを提供しており、応用タスク（例：物体検出、顔認識、深度推定）別に攻撃手法を分類し、実世界の歪みに対する有効性、不顕在性、耐性の観点から分析している。物理的攻撃設計における主な課題を特定し、信頼性の高い AI を安全・信頼性が求められる分野に実装するための標準化されたベンチマークと強力な防御策の必要性を提言している。

ABSTRACT

In this paper, we present a comprehensive survey of the current trends focusing specifically on physical adversarial attacks. We aim to provide a thorough understanding of the concept of physical adversarial attacks, analyzing their key characteristics and distinguishing features. Furthermore, we explore the specific requirements and challenges associated with executing attacks in the physical world. Our article delves into various physical adversarial attack methods, categorized according to their target tasks in different applications, including classification, detection, face recognition, semantic segmentation and depth estimation. We assess the performance of these attack methods in terms of their effectiveness, stealthiness, and robustness. We examine how each technique strives to ensure the successful manipulation of DNNs while mitigating the risk of detection and withstanding real-world distortions. Lastly, we discuss the current challenges and outline potential future research directions in the field of physical adversarial attacks. We highlight the need for enhanced defense mechanisms, the exploration of novel attack strategies, the evaluation of attacks in different application domains, and the establishment of standardized benchmarks and evaluation criteria for physical adversarial attacks. Through this comprehensive survey, we aim to provide a valuable resource for researchers, practitioners, and policymakers to gain a holistic understanding of physical adversarial attacks in computer vision and facilitate the development of robust and secure DNN-based systems.

研究の動機と目的

• 実世界のコンピュータビジョン応用における物理的 adversarial 攻撃について、体系的な理解を提供すること。
• 分類、検出、セグメンテーション、深度推定などのターゲットタスクに基づいて攻撃手法を分類・分析すること。
• 物理的 adversarial 攻撃における耐性、不顕在性、実世界への展開の課題を検討すること。
• 研究ギャップを特定し、標準化されたベンチマークと強化された防御メカニズムを含む今後の研究方向性を提案すること。
• 物理的 adversarial 攻撃の開発と評価における倫理的配慮と責任ある研究実践を強調すること。

提案手法

• 190 範目の論文をサーベイし、多様なコンピュータビジョンタスクにまたがる 94 種類の異なる adversarial 攻撃手法を分析した。
• 攻撃をパッチベース、スティッカー基地、 camouflage、光の操作、イメージングデバイスの操作技術に分類した。
• 照明、視点の変化、運動によるぼやけなどの実世界の歪みに対する有効性、不顕在性、耐性に基づいて攻撃のパフォーマンスを評価した。
• 最適化プロセス中に実世界の変動をシミュレートすることで物理的攻撃の耐性を向上させるため、期待値の変換（Expectation Over Transformation, EOT）手法を適用した。
• 連続するフレーム間で一貫性を保つことで、動画ベースの攻撃の有効性を維持するための時間的整合性を分析した。
• 軌道予測、ポーズ推定、行動認識などの異なるタスク間での攻撃の転送性を調査した。

実験結果

リサーチクエスチョン

• RQ1 物理的 adversarial 攻撃は、デジタルな対応物と比較して、どのような主な特徴と特徴的な点を有しているか？
• RQ2 照明の変化、視点の変化、運動によるぼやけなどの実世界の歪み下でも、物理的 adversarial 攻撃はどのようにして有効性を維持するのか？
• RQ3 異なる応用分野において、物理的攻撃の不顕在性と目立たなさを確保するための最も効果的な戦略は何か？
• RQ4 物理的 adversarial 攻撃は、軌道予測や行動認識といった新たなコンピュータビジョンタスクにおいて、どのように動作するか？
• RQ5 物理的 adversarial 攻撃の評価とベンチマーク化における主な課題は何か。標準化された基準を確立するにはどうすればよいか？

主な発見

• 物理的 adversarial 攻撃は、照明条件や視点の変化にさらされても、印刷された adversarial 例が DNN を効果的にだますことから、実世界の設定でも非常に有効である。
• 期待値の変換（Expectation Over Transformation, EOT）技術は、攻撃生成プロセス中に実世界の変動をシミュレートすることで、攻撃の耐性を顕著に向上させる。
• 動画ベースの攻撃では、フレーム間での一貫性が極めて重要であり、不一致する摂動は攻撃成功率を低下させるとともに検出可能性を高める。
• 不顕在性は依然として主要な課題であり、物理的攻撃における視覚的自然さを評価するための普遍的な指標が存在しない。
• 物理的 adversarial 攻撃は、物体検出、顔認識、セマンティックセグメンテーションなどのタスク間で転送性を示しており、広範なモデルの脆弱性を示している。
• 進展は見られるものの、標準化されたベンチマークや評価プロトコルが不足しており、分野全体の公平な比較と再現可能性を阻害している。