[论文解读] Maximum Mean Discrepancy is Aware of Adversarial Attacks

Ruize Gao, Feng Liu+5 more|arXiv (Cornell University)|Oct 22, 2020

Adversarial Robustness in Machine Learning参考文献 81被引用 10

一句话总结

本论文表明，通过引入深度核函数、利用渐近统计方法最大化检验效能，并采用野生自助法处理非独立同分布（non-i.i.d.）数据，最大均值差异（MMD）检验能够有效检测对抗性攻击。改进后的MMD检验成功识别出自然数据与对抗性数据之间的分布差异，确立了两样本检验作为对抗性检测的一种可行框架。

ABSTRACT

The maximum mean discrepancy (MMD) test could in principle detect any distributional discrepancy between two datasets. However, it has been shown that the MMD test is unaware of adversarial attacks -- the MMD test failed to detect the discrepancy between natural and adversarial data. Given this phenomenon, we raise a question: are natural and adversarial data really from different distributions? The answer is affirmative -- the previous use of the MMD test on the purpose missed three key factors, and accordingly, we propose three components. Firstly, the Gaussian kernel has limited representation power, and we replace it with an effective deep kernel. Secondly, the test power of the MMD test was neglected, and we maximize it following asymptotic statistics. Finally, adversarial data may be non-independent, and we overcome this issue with the wild bootstrap. By taking care of the three factors, we verify that the MMD test is aware of adversarial attacks, which lights up a novel road for adversarial data detection based on two-sample tests.

研究动机与目标

• 探究为何先前的MMD检验尽管具备理论可行性，却未能检测出对抗性攻击。
• 识别并修正先前MMD应用中的三个关键局限：浅层核表示、检验效能低下，以及独立同分布（i.i.d.）假设的违反。
• 开发一种鲁棒的基于MMD的方法，能够有效区分自然数据与对抗性数据的分布。
• 确立两样本检验作为对抗性数据检测的一种可行且理论严谨的方法。

提出的方法

• 用深度核函数替代标准高斯核，以增强对复杂数据分布的表示能力。
• 利用渐近统计理论最大化MMD检验的检验效能，从而提高对分布差异的敏感度。
• 应用野生自助法以处理对抗性数据中可能存在的依赖结构，确保在非独立同分布条件下仍能进行有效推断。
• 将深度核函数、效能最大化与野生自助法三个组件整合为统一的MMD框架，用于对抗性检测。
• 利用改进后的增强MMD检验，在两样本检验设置下比较自然数据与对抗性数据的分布。

实验结果

研究问题

• RQ1 为何先前的MMD检验未能检测出自然数据与对抗性数据之间的分布差异？
• RQ2 通过解决其固有局限性，能否使MMD检验对对抗性攻击更加敏感？
• RQ3 使用深度核函数是否能提升MMD检验检测对抗性样本引起的细微分布偏移的能力？
• RQ4 通过最大化检验效能，对MMD检验检测对抗性扰动的敏感度有何影响？
• RQ5 野生自助法能否有效处理对抗性数据中的非独立同分布结构，以实现有效的统计推断？

主要发现

• 增强后的MMD检验成功检测出自然数据与对抗性数据之间的分布差异，证实这两类数据确实来自不同的分布。
• 将高斯核替换为深度核函数显著提升了MMD检验的表示能力与检测性能。
• 通过渐近统计方法最大化检验效能，增强了MMD检验对微小但具有实际意义的分布偏移的敏感度。
• 野生自助法有效处理了对抗性数据中的非独立同分布结构，确保了可靠p值与有效的统计推断。
• 深度核函数、效能最大化与野生自助法的结合，使MMD检验在多个数据集与模型上均能可靠检测对抗性攻击。