[论文解读] Limitations of adversarial robustness: strong No Free Lunch Theorem.

Elvis Dohmatob|arXiv (Cornell University)|Oct 8, 2018

Adversarial Robustness in Machine Learning参考文献 14被引用 15

一句话总结

本文建立了对抗鲁棒性的强无免费午餐定理，证明当扰动超过自然噪声水平时，任何在满足 $W_2$ Talagrand 传输成本不等式的数据上训练的分类器——例如对数凹分布或正曲率流形上的均匀分布——都将以高概率被对抗性攻击欺骗。该结果推广了先前的不可能性结果，并在 MNIST 和模拟数据上得到验证。

ABSTRACT

This manuscript presents some new impossibility results on adversarial robustness in machine learning, a very important yet largely open problem. We show that if conditioned on a class label the data distribution satisfies the $W_2$ Talagrand transportation-cost inequality (for example, this condition is satisfied if the conditional distribution has density which is log-concave; is the uniform measure on a compact Riemannian manifold with positive Ricci curvature, any classifier can be adversarially fooled with high probability once the perturbations are slightly greater than the natural noise level in the problem. We call this result The Strong No Free Lunch Theorem as some recent results (Tsipras et al. 2018, Fawzi et al. 2018, etc.) on the subject can be immediately recovered as very particular cases. Our theoretical bounds are demonstrated on both simulated and real data (MNIST). We conclude the manuscript with some speculation on possible future research directions.

研究动机与目标

• 识别在自然数据分布下实现对抗鲁棒性的根本限制。
• 形式化在何种条件下，即使使用最优分类器，对抗样本也是不可避免的。
• 利用传输成本不等式，将先前的不可能性结果推广为更广泛的理论框架。
• 在 MNIST 和合成数据上对理论边界进行经验验证。
• 通过识别鲁棒学习中的内在障碍，为未来研究提供指导。

提出的方法

• 理论分析基于 $W_2$ Talagrand 传输成本不等式，该不等式刻画了条件数据分布的集中性。
• 本文假设对于每个类别标签，数据分布均满足 $W_2$ Talagrand 不等式，这一条件适用于对数凹密度以及具有正 Ricci 曲率的紧致黎曼流形上的均匀测度。
• 证明在该条件下，当扰动超过自然噪声水平时，任何分类器都会变得易受对抗攻击。
• 该证明利用了最优传输和测度集中理论中的几何与概率工具。
• 推导出理论边界，并在 MNIST 和具有对数凹分布与均匀分布的模拟数据上进行经验测试。
• 该框架将先前结果（如 Tsipras 等，2018；Fawzi 等，2018）统一并推广为特例。

实验结果

研究问题

• RQ1 在何种分布假设下，对抗鲁棒性在本质上是不可能的？
• RQ2 能否利用 $W_2$ Talagrand 传输成本不等式推导出对抗脆弱性的普遍下界？
• RQ3 现有鲁棒性结果在多大程度上依赖于无法推广的特定数据假设？
• RQ4 自然噪声水平与真实数据分布中对抗脆弱性阈值之间有何关系？
• RQ5 所提出的框架能否恢复并推广先前在对抗鲁棒性中的不可能性结果？

主要发现

• 在满足 $W_2$ Talagrand 传输成本不等式的数据上训练的任何分类器，当扰动超过自然噪声水平时，都会变得易受对抗攻击。
• 该结果适用于广泛分布类，包括对数凹密度以及具有正 Ricci 曲率的紧致黎曼流形上的均匀测度。
• 对抗脆弱性的理论边界在模拟数据和 MNIST 上均得到验证，证实了预测的准确性。
• 该框架将先前的不可能性结果（如 Tsipras 等，2018；Fawzi 等，2018）作为特例恢复并推广。
• 研究结果表明，在对数据分布施加温和且自然的假设下，对抗鲁棒性在原则上是不可实现的。
• 该研究识别出在这些分布条件下，自然准确率与对抗鲁棒性之间存在根本性权衡。