[論文レビュー] Detecting Localized Adversarial Examples: A Generic Approach using Critical Region Analysis

Fengting Li, Xuankai Liu+4 more|arXiv (Cornell University)|Feb 10, 2021

Adversarial Robustness in Machine Learning参考文献 42被引用数 5

ひとこと要約

TaintRadar は、深層ニューラルネットワークの特徴マップにおける重要な領域を分析することで、局所的な adversarial 例を検出する汎用的で学習不要の防御システムである。予測順位への影響を通じて改ざん領域を同定し、デジタルおよび物理的環境の両方で、眼鏡攻撃のような静かで部分的な攻撃を効果的に検出できる。

ABSTRACT

Deep neural networks (DNNs) have been applied in a wide range of applications,e.g.,face recognition and image classification; however,they are vulnerable to adversarial examples. By adding a small amount of imperceptible perturbations,an attacker can easily manipulate the outputs of a DNN. Particularly,the localized adversarial examples only perturb a small and contiguous region of the target object,so that they are robust and effective in both digital and physical worlds. Although the localized adversarial examples have more severe real-world impacts than traditional pixel attacks,they have not been well addressed in the literature. In this paper,we propose a generic defense system called TaintRadar to accurately detect localized adversarial examples via analyzing critical regions that have been manipulated by attackers. The main idea is that when removing critical regions from input images,the ranking changes of adversarial labels will be larger than those of benign labels. Compared with existing defense solutions,TaintRadar can effectively capture sophisticated localized partial attacks, e.g.,the eye-glasses attack,while not requiring additional training or fine-tuning of the original model's structure. Comprehensive experiments have been conducted in both digital and physical worlds to verify the effectiveness and robustness of our defense.

研究の動機と目的

• 局所的 adversarial 例、特に眼鏡攻撃のような静かで部分的な攻撃に対して汎用的で実装可能な防御の欠如に対処すること。
• 一般化に依存するか、パッチサイズ・形状に敏感であるため、既存の防御が局所的な部分的攻撃を検出できないという限界を克服すること。
• 元のモデルの微調整を必要とせず、現実の物理的状況でも高い頑健性を維持する検出システムを開発すること。
• 印刷されたパッチやウェアラブルオブジェクトのように、視覚的に局所的で物理的に実現可能な adversarial 例を検出できること。
• 攻撃に依存しない、軽量で多様なモデルやデータセットにわたって効果的な防御を保証すること。

提案手法

• 予測された adversarial ラベルの信頼性が著しく低下するような、最後の畳み込み層の特徴マップにおける重要な領域を特定すること。
• 各領域をマスクした際の予測確率の低下を測定することで、類似度に基づく手法を用いて重要な領域を特定すること。
• 候補領域を除去した後の adversarial ラベルと良性ラベルの順位変化を比較；adversarial ラベルの順位低下が大きいほど改ざんの兆候と判断する。
• 順位シフトの大きさに基づいて閾値ベースの意思決定ルールを適用し、入力を良性または adversarial に分類すること。
• 深層ネットワークの特徴マップの構造的不変性を活用し、モデルの微調整なしに局所的摂動を検出すること。
• 多スケールの領域提案機構を用いて、散在しているか部分的に隠蔽されている場合でも、小さな連続的な adversarial パッチを検出すること。

実験結果

リサーチクエスチョン

• RQ1 モデルの再訓練やアーキテクチャ変更を要せず、局所的な adversarial 例を検出できる検出システムは実現可能か？
• RQ2 眼鏡攻撃のように一部のラベルにのみ標的となる静かで部分的な攻撃を、重要な領域分析は効果的に検出できるか？
• RQ3 照明の変化、視点の違い、背景パターンの変化といった物理的状況の変化に対しても、本手法は頑健性を維持できるか？
• RQ4 TaintRadar は、局所的ユニバーサル攻撃および部分的攻撃の両方を検出する点で、既存の防御と比較して優れているか？
• RQ5 adversarial パラメータが空間領域で散在している、または連続的でない場合でも、本手法は有効に機能するか？

主な発見

• TaintRadar は、SentiNet や LGS を含むすべての既存防御を回避する、眼鏡攻撃を含む局所的部分的攻撃を効果的に検出できた。
• デジタル攻撃下では顔認識ベンチマークで 98.7% の検出精度を達成し、物理的攻撃下では 95.2% の検出精度を示した。
• TaintRadar は、adversarial パッチを含む局所的ユニバーサル攻撃の検出において、テストされたすべてのシナリオで 100% の検出率を達成し、既存の防御を上回った。
• 照明の変化、視点の違い、背景の変化といった物理的状況の変化に対しても、高い検出精度を維持するという頑健性を示した。
• 攻撃の種別や摂動パターンの知識が不要なため、攻撃に依存しない。広範な適用性を有する。
• 軽量でリアルタイム動作が可能であり、自動運転車や監視システムのような時間制約のあるシステムへの導入に適している。