[論文レビュー] Maximum Mean Discrepancy is Aware of Adversarial Attacks

Ruize Gao, Feng Liu+5 more|arXiv (Cornell University)|Oct 22, 2020

Adversarial Robustness in Machine Learning参考文献 81被引用数 10

ひとこと要約

この論文は、深層カーネルを用いた強化、漸近統計を用いた検定力の最適化、および非i.i.d.データに対応するためのワイルドブートストラップを組み合わせることで、最大平均差分（MMD）検定が adversarial 攻撃を検出可能であることを示している。改善されたMMD検定は、自然データと adversarial データの間の分布的差異を効果的に特定し、2標本検定が adversarial 検出のための実用的で理論的に妥当な枠組みであることを確立している。

ABSTRACT

The maximum mean discrepancy (MMD) test could in principle detect any distributional discrepancy between two datasets. However, it has been shown that the MMD test is unaware of adversarial attacks -- the MMD test failed to detect the discrepancy between natural and adversarial data. Given this phenomenon, we raise a question: are natural and adversarial data really from different distributions? The answer is affirmative -- the previous use of the MMD test on the purpose missed three key factors, and accordingly, we propose three components. Firstly, the Gaussian kernel has limited representation power, and we replace it with an effective deep kernel. Secondly, the test power of the MMD test was neglected, and we maximize it following asymptotic statistics. Finally, adversarial data may be non-independent, and we overcome this issue with the wild bootstrap. By taking care of the three factors, we verify that the MMD test is aware of adversarial attacks, which lights up a novel road for adversarial data detection based on two-sample tests.

研究の動機と目的

• 従来のMMD検定が理論的には可能であるにもかかわらず、なぜ adversarial 攻撃を検出できなかったかを調査すること。
• 従来のMMD応用における3つの主要な限界（浅いカーネル表現、低検定力、i.i.d.仮定の破れ）を特定し、是正すること。
• 自然データと adversarial データの分布を効果的に区別できる、頑健なMMDに基づく手法を開発すること。
• 2標本検定が adversarial データ検出のための実用的で理論的に妥当なアプローチであることを確立すること。

提案手法

• 複雑なデータ分布の表現能力を向上させるために、標準的なガウスカーネルの代わりに深層カーネルを採用すること。
• 漸近統計理論を用いてMMD検定の検定力を最大化することで、分布差異に対する感度を向上させること。
• adversarial データにおける依存構造を適切に扱うために、ワイルドブートストラップ法を適用し、非i.i.d.条件下でも有効な推論を保証すること。
• 深層カーネル、検定力の最適化、ワイルドブートストラップの3要素を統合し、adversarial 検出を目的とした統一的なMMDフレームワークを構築すること。
• 得られた強化されたMMD検定を用いて、2標本検定の枠組みで自然データと adversarial データの分布を比較すること。

実験結果

リサーチクエスチョン

• RQ1 なぜ従来のMMD検定は、自然データと adversarial データの間の分布的差異を検出できなかったのか？
• RQ2 MMD検定の固有の限界を是正することで、adversarial 攻撃に対する感度を高めることができるか？
• RQ3 深層カーネルの使用が、adversarial 例によって引き起こされる微細な分布シフトを検出するMMD検定の能力を向上させるか？
• RQ4 検定力の最適化が、adversarial パラメータの摂動に対するMMD検定の感度に与える影響は何か？
• RQ5 ワイルドブートストラップ法は、adversarial データにおける非i.i.d.構造を効果的に処理でき、有効な統計的推論を保証できるか？

主な発見

• 強化されたMMD検定は、自然データと adversarial データの間の分布的差異を効果的に検出でき、両者が実際には異なる分布からのものであることを確認した。
• ガウスカーネルを深層カーネルに置き換えることで、MMD検定の表現能力と検出能力が顕著に向上した。
• 漸近統計を用いた検定力の最適化により、MMD検定の感度が微小だが有意義な分布シフトに対しても向上した。
• ワイルドブートストラップ法は、adversarial データにおける非i.i.d.構造を効果的に処理でき、信頼性の高いp値と有効な統計的推論を保証した。
• 深層カーネル、検定力の最適化、ワイルドブートストラップの組み合わせにより、MMD検定は複数のデータセットおよびモデルにおいて、adversarial 攻撃を信頼性高く検出できるようになった。