[論文レビュー] We Can Always Catch You: Detecting Adversarial Patched Objects WITH or WITHOUT Signature

Jiachun Li, Feng, Jianan+2 more|arXiv (Cornell University)|Jun 9, 2021

Adversarial Robustness in Machine Learning参考文献 53被引用数 12

ひとこと要約

本稿では、物体検出における adversarial patch 攻撃に対する二つの補完的防御手法を提案する。一つは、Grad-CAM スコアを活用して高影響力のパッチ画素をフィルタリングする高速なシグネチャベース手法であり、もう一つは、局所的およびグローバルな意味的コンテンツの不一致を特定することで adversarial パッチを検出する、新しいシグネチャに依存しない手法である。シグネチャに依存しない手法は、既知および未知の攻撃の両方を効果的に検出でき、攻撃固有の事前知識に依存しない、強力で汎用性の高い保護を提供する。

ABSTRACT

Recently, object detection has proven vulnerable to adversarial patch attacks. The attackers holding a specially crafted patch can hide themselves from state-of-the-art detectors, e.g., YOLO, even in the physical world. This attack can bring serious security threats, such as escaping from surveillance cameras. How to effectively detect this kind of adversarial examples to catch potential attacks has become an important problem. In this paper, we propose two detection methods: the signature-based method and the signature-independent method. First, we identify two signatures of existing adversarial patches that can be utilized to precisely locate patches within adversarial examples. By employing the signatures, a fast signature-based method is developed to detect the adversarial objects. Second, we present a robust signature-independent method based on the extit{content semantics consistency} of model outputs. Adversarial objects violate this consistency, appearing locally but disappearing globally, while benign ones remain consistently present. The experiments demonstrate that two proposed methods can effectively detect attacks both in the digital and physical world. These methods each offer distinct advantage. Specifically, the signature-based method is capable of real-time detection, while the signature-independent method can detect unknown adversarial patch attacks and makes defense-aware attacks almost impossible to perform.

研究の動機と目的

• 実世界の監視シナリオにおいて、YOLO などの最先端の物体検出器を回避する adversarial patch 攻撃の増加する脅威に対処すること。
• 既存の adversarial パッチに特徴的な検出可能なシグネチャ（具体的には、パッチ画素における高い Grad-CAM アクティベーション値）を同定し、それを活用して、迅速かつ効率的な防御を実現すること。
• シグネチャベース防御を回避できるように最適化されたパッチ生成アルゴリズムを設計し、攻撃固有の防御の脆弱性を示すこと。
• 局所的およびグローバルな画像コンテンツ間の意味的不一致に基づく、一般化可能な、シグネチャに依存しない検出手法を提案すること。これは、未知および将来の攻撃に対しても有効である。
• 両手法を組み合わせることで、多様な展開環境において、強固で柔軟な保護を提供する包括的な防御フレームワークを構築すること。

提案手法

• シグネチャベース手法は、物体検出器の予測に最も影響を与える画素を Grad-CAM を用いて同定し、その上位 15% の画素を検出の前処理でフィルタリングすることで、adversarial パッチの影響を低減する。
• パッチ画素における Grad-CAM スコアを最小化しつつ攻撃効果を維持するように設計された反復的パッチ生成アルゴリズムを用い、シグネチャベース防御を回避する。
• シグネチャに依存しない手法は、パッチを含む局所領域が単体では意味的に妥当に見えるが、グローバルな画像文脈と整合しないことを特徴として、adversarial パッチを検出する。
• この手法は、事前に学習されたネットワークからの深層特徴を用い、局所的パッチ領域と全体の画像埋め込みを比較することで、意味的整合性の欠如を評価する。
• このアプローチはモデルに依存せず、ターゲットの物体検出器の再訓練や変更を必要としないため、プラグアンドプレイ統合が可能である。
• 二つの手法は補完的である：既知の攻撃に対して高速に効果的なシグネチャベース手法、未知または進化する脅威に対して強固なシグネチャに依存しない手法。

実験結果

リサーチクエスチョン

• RQ1 adversarial パッチに検出可能なシグネチャ（具体的には、高 Grad-CAM アクティベーション）が存在するか。そのシグネチャを活用することで、既存のパッチ攻撃に対して効率的な防御が可能か。
• RQ2 Grad-CAM スコアをパッチ画素上で最小化しつつ攻撃効果を維持するように最適化されたパッチ生成アルゴリズムにより、シグネチャベース防御を回避できるか。
• RQ3 局所的およびグローバルな画像コンテンツ間の意味的不一致が、adversarial パッチ検出の一般化可能な、攻撃に依存しない信号として機能するか。
• RQ4 シグネチャに依存しない手法は、既知および以前に観測されていない adversarial パッチ攻撃の両方に対してどれほど効果的か。
• RQ5 シグネチャベースおよびシグネチャに依存しない検出を組み合わせることで、実世界の物体検出システムにおいて包括的かつ強固な保護が実現できるか。

主な発見

• 上位 Grad-CAM 画素をフィルタリングするシグネチャベース防御は、[49] で提案された手法で生成された adversarial パッチを効果的に検出し、中和でき、推論オーバーヘッドは約 85ms にとどまる。
• 最適化されたパッチ生成アルゴリズムにより、パッチ画素における Grad-CAM スコアを最小化しながらも攻撃効果を維持でき、シグネチャベース防御を回避するのに成功した。
• シグネチャに依存しない手法は、元のパッチおよび最適化済みパッチの両方を検出でき、攻撃固有の事前知識に依存せず、既知および未知の攻撃に対して有効であることを示した。
• シグネチャに依存しない手法は、分布シフトに対しても強固で、攻撃タイプにわたって一般化する。これは、特定の攻撃シグネチャではなく、内在的な意味的不一致に基づくためである。
• 実験では、パッチが物理的に印刷され実環境に適用された場合でも、シグネチャに依存しない手法が高精度の検出を維持していることが示された。
• 二つの手法は補完的である：シグネチャベース手法は既知の脅威に対して高速かつ効率的な検出を提供するが、シグネチャに依存しない手法は、未知または進化する脅威に対し、一般化され強固な検出を提供する。