[論文レビュー] Detecting Adversarial Data by Probing Multiple Perturbations Using Expected Perturbation Score

Shuhai Zhang, Feng Liu+5 more|arXiv (Cornell University)|May 25, 2023

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、サンプルの複数の摂動されたビューからのスコアを集約することで、敵対的検出を向上させる、期待摂動スコア（EPS）と呼ばれる新しい統計量を提案する。事前学習済みの拡散モデルを用いて、EPS-ADはテストサンプルと自然データの間の最大平均差（MMD）を計算し、さまざまな攻撃に対してImageNetおよびCIFAR-10で最先端のAUROCスコア（最大0.9997）を達成した。推論コストは低く抑えられ、T=20の条件下で1画像あたり0.954秒で実行可能である。

ABSTRACT

Adversarial detection aims to determine whether a given sample is an adversarial one based on the discrepancy between natural and adversarial distributions. Unfortunately, estimating or comparing two data distributions is extremely difficult, especially in high-dimension spaces. Recently, the gradient of log probability density (a.k.a., score) w.r.t. the sample is used as an alternative statistic to compute. However, we find that the score is sensitive in identifying adversarial samples due to insufficient information with one sample only. In this paper, we propose a new statistic called expected perturbation score (EPS), which is essentially the expected score of a sample after various perturbations. Specifically, to obtain adequate information regarding one sample, we perturb it by adding various noises to capture its multi-view observations. We theoretically prove that EPS is a proper statistic to compute the discrepancy between two samples under mild conditions. In practice, we can use a pre-trained diffusion model to estimate EPS for each sample. Last, we propose an EPS-based adversarial detection (EPS-AD) method, in which we develop EPS-based maximum mean discrepancy (MMD) as a metric to measure the discrepancy between the test sample and natural samples. We also prove that the EPS-based MMD between natural and adversarial samples is larger than that among natural samples. Extensive experiments show the superior adversarial detection performance of our EPS-AD.

研究の動機と目的

• 自然データと敵対的データの分布の違いを特定することで、敵対的サンプルを検出する課題に取り組む。
• 単一サンプルのスコア関数に起因する感度の高さと不十分さを克服し、信頼性の高い検出を実現する。
• 未観測の攻撃および転送可能な攻撃に対しても有効な、頑健で一般化可能な検出手法を開発する。
• 摂動されたサンプルからのマルチビュー情報を利用することで、統計的信頼性と検出性能を向上させる。

提案手法

• 複数回のノイズ摂動後のスコアの期待値として定義される、期待摂動スコア（EPS）を新しい統計量として提案する。
• 固定タイムステップT*において、事前学習済みのスコアベースの拡散モデルを用いて、自然サンプルおよびテストサンプルのEPSを推定する。
• EPSに基づく最大平均差（MMD）を用いて、テストサンプルと自然データの間の分布的差を測定する。
• 前向きの拡散プロセスに従い、さまざまなノイズレベルで自然画像およびテスト画像を同時に摂動させ、マルチビュー観測を生成する。
• 理論的分析により、やや緩い条件下でも、自然データと敵対的データの間のEPSベースMMDが、自然データ同士の間よりも大きいことが示された。
• 低解像度の入力とスパarsな拡散タイムステップ（例：T=20）を選択することで、推論パイプラインを効率化する。

実験結果

リサーチクエスチョン

• RQ1 複数の摂動からのマルチビュー統計量が、単一サンプルのスコア関数を上回る敵対的検出性能を実現できるか？
• RQ2 期待摂動スコア（EPS）は、自然データと敵対的データの分布を区別する有効な指標として理論的に正当化されるか？
• RQ3 既存の検出器と比較して、EPS-ADは多様で未観測の、および転送可能な敵対的攻撃に対してどのように性能を発揮するか？
• RQ4 解像度およびタイムステップの最適化によって、EPS-ADの計算コストを最小限に抑えつつ、検出性能を損なわないか？
• RQ5 ImageNetで事前学習された拡散モデルを用いることで、ゼロショットまたはクロスデータセットの敵対的検出が可能となり、強力な一般化性能を示すか？

主な発見

• FGSM-ℓ₂攻撃（ε=4/255）下でImageNet上でのEPS-ADは、KD、LID、MD、LiBReを凌駕する最先端のAUROC 0.9997を達成した。
• 解像度256×256、T=20の条件下で、ImageNet上でのEPS-ADは0.9917のAUROCを達成し、1画像あたり0.954秒という非常に高い効率性を示した。
• CIFAR-10では、T=20で0.9995のAUROCを達成し、推論時間は1画像あたり0.043秒で、KD、LID、MDを上回った。
• クロスデータセット評価では、ImageNetで事前学習されたモデルを用いたEPS-AD*が、PGD攻撃下でCIFAR-10で0.9987のAUROCを達成し、強力な一般化性能を示した。
• 低タイムステップ（T=10）および解像度の低減（128×128）においても、EPS-ADは高い性能を維持しており、ImageNet上での推論時間は1秒未満であった。
• 理論的分析により、EPSベースMMDが自然データと敵対的データの間で自然データ同士の間よりも大きいことが確認され、検出指標としての有効性が裏付けられた。