[論文レビュー] ML-LOO: Detecting Adversarial Examples with Feature Attribution

Puyudi Yang, Jianbo Chen+3 more|arXiv (Cornell University)|Jun 8, 2019

Adversarial Robustness in Machine Learning参考文献 64被引用数 15

ひとこと要約

本稿では、深層ニューラルネットワークからの特徴量の寄与度スコアを用いて敵対的入力を特定する、新しい敵対的例検出手法ML-LOOを提案する。元の入力と摂動を加えた入力間のLeave-One-Out（LOO）特徴量寄与度におけるスケール差を測定し、多層寄与度へ拡張することで、多様な攻撃タイプや信頼度レベルにおいて効果的に敵対的例を検出する。本手法は、検出精度と転送性の両面で最先端の検出器を上回る性能を発揮する。

ABSTRACT

Deep neural networks obtain state-of-the-art performance on a series of tasks. However, they are easily fooled by adding a small adversarial perturbation to input. The perturbation is often human imperceptible on image data. We observe a significant difference in feature attributions of adversarially crafted examples from those of original ones. Based on this observation, we introduce a new framework to detect adversarial examples through thresholding a scale estimate of feature attribution scores. Furthermore, we extend our method to include multi-layer feature attributions in order to tackle the attacks with mixed confidence levels. Through vast experiments, our method achieves superior performances in distinguishing adversarial examples from popular attack methods on a variety of real data sets among state-of-the-art detection methods. In particular, our method is able to detect adversarial examples of mixed confidence levels, and transfer between different attacking methods.

研究の動機と目的

• 既存の検出手法を回避する高信頼度または混合信頼度の敵対的例を検出する課題に対処すること。
• 意思決定境界付近の敵対的例における特徴量寄与度マップの不安定性に着目し、摂動によって寄与度スコアに顕著なシフトが生じることを活用すること。
• モデル固有のチューニングを必要とせず、異なる攻撃タイプにわたって堅牢で、かつ相互に転送可能な検出フレームワークを開発すること。
• 単層寄与度から多層特徴量寄与度へ拡張することで、高信頼度の敵対的例における不確実性を捉えること。
• 寄与度の乖離の統計的要約に基づく、モデルに依存しない、クエリ効率の良い検出手法を提供すること。

提案手法

• 各入力特徴量を体系的にマスクすることで、予測出力の変化を測定することにより、Leave-One-Out（LOO）特徴量寄与度を用いて重要度スコアを計算する。
• 元の入力と敵対的入力間の特徴量不一致の統計的代理指標として、寄与度スコアのスケール（例：L2ノルムまたは分散）を測定する。
• スケール推定値にしきい値処理を適用し、入力を自然入力または敵対的入力に分類する。しきい値はクリーンデータから学習される。
• 中間層からの寄与度スコアを集約することで、単層寄与度から多層特徴量寄与度への検出を拡張し、モデルが敵対的入力に対して高信頼度を示しても感度を維持する。
• 統計的検定または分布に基づくしきい値処理を用いて、寄与度シフトの大きさに基づき、自然入力と敵対的入力を区別する。
• 検出器を1つの攻撃タイプ（例：C&W）で訓練し、他の攻撃（例：PGD、FGSM、JSMA）への転送性を評価することで、一般化能力を示す。

実験結果

リサーチクエスチョン

• RQ1 意思決定境界付近では、自然入力と敵対的入力の間で特徴量寄与度マップに一貫した統計的差が現れるか？
• RQ2 寄与度スケール差に基づく検出手法は、信頼度レベルが異なる多様な敵対的攻撃タイプに一般化可能か？
• RQ3 多層特徴量寄与度を組み込むことで、単層手法が失敗する高信頼度の敵対的例における検出性能が向上するか？
• RQ4 1つの攻撃タイプで訓練した検出器が、他の未観測の攻撃で生成された敵対的例を効果的に検出できるか（転送性を示すか）？
• RQ5 本手法は、複数のデータセットと攻撃シナリオにおいて、最先端の検出ベースラインと比較してどの程度の性能を発揮するか？

主な発見

• C&W攻撃データを用いたCIFAR-10では、ML-LOOはAUC 0.879を達成し、Mahalanobis（0.818）、LID（0.763）、KD+BU（0.753）を顕著に上回る。混合信頼度の敵対的例検出において優れた性能を示す。
• FPR = 0.01の条件下で、ML-LOOは混合信頼度C&W攻撃に対してTPR 0.21を達成した。一方、Mahalanobis、LID、KD+BUはそれぞれTPR 0.08、0.14、0.20を記録し、低誤検出率での優れた検出性能を示した。
• $L_{∞}$-PGD攻撃では、ML-LOOはCIFAR-10でAUC 0.879を維持し、KD+BU（0.753）、LID（0.763）、Mahalanobis（0.818）を上回る高い性能を発揮した。
• ML-LOOは強力な転送性を示した。C&W攻撃で訓練した場合、MNIST、CIFAR-10、CIFAR-100の全データセットで、$L_{∞}$-PGD、FGSM、Boundary攻撃においてAUC > 0.98を達成した。
• 高信頼度の$L_{∞}$-PGD攻撃（ε=0.03）では、ML-LOOはFPR=0.01でTPR 0.48を達成した。一方、KD+BU、LID、MahalanobisはTPRが0.10未満にとどまり、ML-LOOの高信頼度領域における有効性が示された。
• 本手法は、他の検出器が失敗する混合信頼度攻撃に対しても効果的に敵対的例を検出できた。これは、中間表現における不確実性を捉える多層寄与度設計のおかげである。