[論文レビュー] Attribution-driven Causal Analysis for Detection of Adversarial Examples

Susmit Jha, Sunny Raj+6 more|arXiv (Cornell University)|Mar 14, 2019

Adversarial Robustness in Machine Learning参考文献 34被引用数 8

ひとこと要約

本稿では、誘導駆動型因果分析を活用して、訓練を必要としない敵対的例に対する新規防御手法を提案する。Integrated Gradientsを用いてモデルの説明における高誘導特徴を段階的にマスクすることで、敵対的入力を検出する。主な発見は、特に物理的に実現可能な敵対的例は、このようなマスクに対して極めて感受性を示す一方で、健全な入力は依然として安定性を保つため、FGSM、PGD、CW、および敵対的パッチを含む複数の攻撃タイプにおいて、98%を超える精度で検出が可能である。

ABSTRACT

Attribution methods have been developed to explain the decision of a machine learning model on a given input. We use the Integrated Gradient method for finding attributions to define the causal neighborhood of an input by incrementally masking high attribution features. We study the robustness of machine learning models on benign and adversarial inputs in this neighborhood. Our study indicates that benign inputs are robust to the masking of high attribution features but adversarial inputs generated by the state-of-the-art adversarial attack methods such as DeepFool, FGSM, CW and PGD, are not robust to such masking. Further, our study demonstrates that this concentration of high-attribution features responsible for the incorrect decision is more pronounced in physically realizable adversarial examples. This difference in attribution of benign and adversarial inputs can be used to detect adversarial examples. Such a defense approach is independent of training data and attack method, and we demonstrate its effectiveness on digital and physically realizable perturbations.

研究の動機と目的

• 人間が感知できないが深層学習モデルを誤導する敵対的例を検出するという重要なギャップを埋める。
• モデルの意思決定が特徴の重要性によって説明される誘導空間において、敵対的例が安定しているかどうかを調査する。
• 訓練データや攻撃固有の知識に依存せず、モデルの説明のみに依存する防御機構を開発する。
• 因果的近傍における高誘導特徴の段階的マスクに対する敵対的例の安定性を評価する。
• 物理的に実現可能な敵対的摂動は、局所的な誘導集中のおかげで、デジタル摂動よりも検出されやすいことを示す。

提案手法

• 与えられた入力の特徴誘導を計算するためにIntegrated Gradient法を用い、モデルの意思決定における各入力特徴（例：ピクセル）の重要度スコアを割り当てる。
• 上位k%の誘導値を持つ特徴を段階的にマスクすることで、因果的近傍を定義する。
• 段階的マスクにおけるモデル予測の安定性を評価する：健全な入力は元のラベルを維持するが、敵対的入力は頻繁にラベルを変更する。
• デジタル敵対的例（例：FGSM、PGD、CW、DeepFool）および物理的に実現可能な敵対的パッチ（例：バナナ、トースター、野球ボールパッチ）の両方に対してマスク処理を適用する。
• モデルの予測が変化する点を敵対的性質の指標とする。早期のラベルシフトは、高い脆弱性を示唆する。
• 二段階認知モデル（システム1：元のDNN、システム2：誘導に基づく分析）を定式化し、攻撃が成功するためには両方のシステムが同時にだまされる必要があるとする。

実験結果

リサーチクエスチョン

• RQ1 誘導空間における高誘導特徴の段階的マスクに対して、敵対的例は安定しているか？
• RQ2 マスク処理下での誘導分布において、敵対的例と健全な入力の違いは何か？
• RQ3 誘導マスクによって定義される因果的近傍は、敵対的例の検出に信頼性を持って使えるか？
• RQ4 物理的に実現可能な敵対的パッチにおける高誘導特徴の局所的集中は、デジタル摂動よりも検出されやすい理由になるか？
• RQ5 この防御手法は、攻撃の種類や学習データの事前知識がなくても、多様な攻撃タイプにわたりどの程度有効に機能するか？

主な発見

• 上位誘導ピクセルの0.4%をマスクするだけで、バナナパッチでは99.71%、トースターパッチでは98.14%、野球ボールパッチでは99.20%の敵対的例を検出できた。
• FGSM、PGD、CW、DeepFool攻撃によって生成された敵対的例は、最小限のマスク（例：上位誘導の0.2%〜4%）でも顕著なラベルシフトを示し、誘導空間における高い感受性を示した。
• 健全な入力は、上位誘導特徴の4%までのマスクに対しても安定しており、すべてのテストケースで元のラベルを維持した。
• 敵対的パッチサイズが小さくなるほど、高誘導特徴の集中度が高くなるため、検出率が向上した。これは、物理的実現可能性と誘導空間における安定性の間のトレードオフを示唆した。
• 小さなパッチサイズ（画像面積の25%）でも、敵対的パッチ攻撃の98%以上を検出できた。これは、現実世界の物理的脅威モデルにおいて有効であることを示した。
• この防御手法は多様な攻撃タイプにわたり有効であり、学習データや特定の攻撃手法の知識が不要であるため、広範に適用可能である。