[论文解读] Maximum Mean Discrepancy Test is Aware of Adversarial Attacks

Ruize Gao, Feng Liu+5 more|arXiv (Cornell University)|Oct 22, 2020

Integrated Circuits and Semiconductor Failure Analysis被引用 17

一句话总结

本文提出语义感知最大均值差异（Semantic-aware MMD, SAMMD）检验，通过引入深度核函数、利用渐近统计理论最大化检验效能，并采用野生自助法（wild bootstrap）处理非独立同分布（non-i.i.d.）的对抗性数据，从而增强最大均值差异（MMD）检验。SAMMD检验成功检测到以往基于MMD的方法未能识别的对抗性攻击，证明当关键因素得到解决时，MMD确实能够感知对抗性分布。

ABSTRACT

The maximum mean discrepancy (MMD) test could in principle detect any distributional discrepancy between two datasets. However, it has been shown that the MMD test is unaware of adversarial attacks -- the MMD test failed to detect the discrepancy between natural and adversarial data. Given this phenomenon, we raise a question: are natural and adversarial data really from different distributions? The answer is affirmative -- the previous use of the MMD test on the purpose missed three key factors, and accordingly, we propose three components. Firstly, the Gaussian kernel has limited representation power, and we replace it with an effective deep kernel. Secondly, the test power of the MMD test was neglected, and we maximize it following asymptotic statistics. Finally, adversarial data may be non-independent, and we overcome this issue with the wild bootstrap. By taking care of the three factors, we verify that the MMD test is aware of adversarial attacks, which lights up a novel road for adversarial data detection based on two-sample tests.

研究动机与目标

• 解决MMD检验在理论上具备检测任何分布差异能力的前提下，却在实践中未能检测到对抗性攻击的悖论。
• 识别先前MMD应用中被忽视的三个关键因素：核函数表示能力有限、检验效能低、对抗性数据非i.i.d.。
• 开发一种新型两样本检验方法，同时解决上述三项局限，实现可靠的对抗性数据检测。
• 证明当通过先进核函数与统计技术正确配置时，MMD本质上具备检测对抗性攻击的能力。

提出的方法

• 用从语义特征中学习得到的深度核函数替代标准高斯核，以提升图像数据的表示能力。
• 通过渐近统计理论优化核函数，最大化检验效能，确保对分布差异具有更高敏感性。
• 采用野生自助法处理非独立同分布（non-i.i.d.）的对抗性样本，确保第一类错误率控制有效。
• 构建语义感知MMD（SAMMD）检验，结合优化后的深度核函数、效能最大化的统计量与野生自助法，实现鲁棒的两样本检验。
• 在测试数据子集上自适应训练语义感知核函数，使方法在攻击分类器未知的情况下仍保持有效性。
• 采用组合对抗攻击策略（kernel-attack与co-attack）评估鲁棒性，模拟针对检验统计量的自适应攻击者。

实验结果

研究问题

• RQ1 为何先前基于MMD的方法尽管理论上能检测任何分布差异，却仍未能检测到对抗性攻击？
• RQ2 通过解决核函数表示能力不足、检验效能低以及数据依赖性问题，能否使MMD检验对对抗性数据更敏感？
• RQ3 使用在语义特征上训练的深度核函数，是否显著提升对抗样本检测效果，相比高斯核或学习到的特征核函数？
• RQ4 野生自助法在非i.i.d.对抗性数据存在时，如何改善第一类错误率的控制？
• RQ5 当攻击者知晓检测机制并采取自适应攻击时，SAMMD检验是否仍保持鲁棒性？

主要发现

• 在kernel-attack下，SAMMD检验对预训练ResNet-18分类器的欺骗成功率高达89.08%，但无法欺骗SAMMD检验本身，证明其鲁棒性。
• co-attack策略在分类器上的欺骗率为61.34%，但SAMMD检验仍能成功检测出数据的对抗性本质。
• model-attack方法直接针对分类器，对分类器的欺骗率达到100%，但SAMMD检验仍能有效检测出分布偏移。
• 消融实验表明，语义特征显著优于原始特征（MMD-O+WB）与学习到的特征（MMD-D+WB），在检测对抗性数据方面表现更优。
• 当应用野生自助法时，SAMMD检验在非i.i.d.条件下保持正常的第一类错误率（≤0.05），而MMD-O未使用野生自助法则无法保持。
• SAMMD检验在多种攻击类型（FGSM、Square、PGD）及不同扰动水平下均表现出高检验效能，即使攻击方法未知，也能有效检测对抗性攻击。