[論文レビュー] Maximum Mean Discrepancy Test is Aware of Adversarial Attacks

Ruize Gao, Feng Liu+5 more|arXiv (Cornell University)|Oct 22, 2020

Integrated Circuits and Semiconductor Failure Analysis被引用数 17

ひとこと要約

本稿では、深層カーネルの統合、漸近統計による検出力の最大化、および非i.i.d.な敵対的データに対応するためのワイルドブートストラップの適用により、Maximum Mean Discrepancy (MMD) テストを強化した、意味的認識型MMD (SAMMD) テストを提案する。SAMMDテストは、従来のMMDベースの手法が失敗した敵対的攻撃を効果的に検出でき、MMDが重要な要因を適切に取り扱えば、敵対的分布を実際に認識可能であることを実証している。

ABSTRACT

The maximum mean discrepancy (MMD) test could in principle detect any distributional discrepancy between two datasets. However, it has been shown that the MMD test is unaware of adversarial attacks -- the MMD test failed to detect the discrepancy between natural and adversarial data. Given this phenomenon, we raise a question: are natural and adversarial data really from different distributions? The answer is affirmative -- the previous use of the MMD test on the purpose missed three key factors, and accordingly, we propose three components. Firstly, the Gaussian kernel has limited representation power, and we replace it with an effective deep kernel. Secondly, the test power of the MMD test was neglected, and we maximize it following asymptotic statistics. Finally, adversarial data may be non-independent, and we overcome this issue with the wild bootstrap. By taking care of the three factors, we verify that the MMD test is aware of adversarial attacks, which lights up a novel road for adversarial data detection based on two-sample tests.

研究の動機と目的

• MMDテストが理論的に高い検出能力を持つにもかかわらず、敵対的攻撃を検出できなかったというパラドックスを解消すること。
• 従来のMMD応用で見過ごされた3つの鍵となる要因を同定すること：限られたカーネル表現力、低効率な検出力、および非i.i.d.な敵対的データ。
• これらの3つの制限要因を同時に解消する新しい2標本検定を構築し、信頼性の高い敵対的データ検出を可能にすること。
• MMDが適切に設定され、高度なカーネルおよび統計的手法が適用されれば、敵対的攻撃を本質的に検出可能であることを実証すること。

提案手法

• 画像データの表現力を向上させるために、標準的なガウスカーネルの代わりに意味的特徴から学習された深層カーネルを採用する。
• 漸近統計理論を用いてカーネルを最適化することで検出力を最大化し、分布の乖離に対して高い感度を確保する。
• 非独立同一分布（非i.i.d.）な敵対的サンプルに対処するため、ワイルドブートストラップ法を適用し、第1種の誤り率が適切に制御されることを保証する。
• 最適化された深層カーネル、検出力最大化の統計的枠組み、およびワイルドブートストラップを統合した意味的認識型MMD（SAMMD）テストを構築する。
• テストデータのサブセット上で意味的認識型カーネルを段階的に適応的に学習させることで、攻撃分類器が未知であっても効果を維持できるようにする。
• 検定統計量を標的とする適応的攻撃を模擬するため、統合的敵対的攻撃戦略（カーネル攻撃およびコアタック）を用いて耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 なぜ従来のMMDベースの手法は、理論的にはあらゆる分布の乖離を検出可能であるにもかかわらず、敵対的攻撃を検出できなかったのか？
• RQ2 カーネル表現力、検出力、およびデータの依存性の制限を是正することで、MMDテストを敵対的データに感度高くすることができるか？
• RQ3 意味的特徴から学習された深層カーネルを用いることで、ガウスカーネルや学習された特徴カーネルと比較して、敵対的例の検出性能が顕著に向上するか？
• RQ4 非i.i.d.な敵対的データの存在下で、ワイルドブートストラップ法が第1種の誤り率制御をどのように改善するか？
• RQ5 攻撃者が検出メカニズムを把握している状況下でも、SAMMDテストは耐性を保てるか？

主な発見

• カーネル攻撃下で事前学習済みのResNet-18分類器を欺く成功率は89.08%に達するが、SAMMDテストはこれを欺けず、その耐性を示している。
• コアタック戦略では分類器を61.34%の割合で欺けるが、SAMMDテストは依然としてデータの敵対的性質を効果的に検出している。
• 分類器を直接標的にするモデル攻撃では分類器の欺き率が100%に達するが、SAMMDテストは依然として分布の乖離を検出可能である。
• アブレーションスタディの結果、意味的特徴が生の特徴（MMD-O+WB）や学習された特徴（MMD-D+WB）を著しく上回ることが確認された。
• ワイルドブートストラップを適用した場合、非i.i.i.d.条件下でもSAMMDテストは通常の第1種の誤り率（≤0.05）を維持するが、ワイルドブートストラップなしのMMD-Oではそのようにならない。
• FGSM、Square、PGDなどの複数の攻撃タイプおよび複数の摂動レベルに対し、攻撃手法が未知であっても、SAMMDテストは高い検出力で敵対的攻撃を検出可能である。