[论文解读] Generalized No Free Lunch Theorem for Adversarial Robustness

Elvis Dohmatob|arXiv (Cornell University)|Oct 8, 2018

Adversarial Robustness in Machine Learning被引用 30

一句话总结

本文建立了对抗鲁棒性的广义'无免费午餐'定理，证明在数据分布满足温和几何条件（如对数凹性或黎曼流形密度）时，任何非完美分类器在扰动超过自然噪声阈值后，必然面临对抗攻击。关键结果表明，当扰动超过与数据固有噪声水平和分类器错误率相关的临界值时，对抗欺骗将以高概率发生。

ABSTRACT

This manuscript presents some new impossibility results on adversarial robustness in machine learning, a very important yet largely open problem. We show that if conditioned on a class label the data distribution satisfies the $W_2$ Talagrand transportation-cost inequality (for example, this condition is satisfied if the conditional distribution has density which is log-concave; is the uniform measure on a compact Riemannian manifold with positive Ricci curvature, any classifier can be adversarially fooled with high probability once the perturbations are slightly greater than the natural noise level in the problem. We call this result The Strong "No Free Lunch" Theorem as some recent results (Tsipras et al. 2018, Fawzi et al. 2018, etc.) on the subject can be immediately recovered as very particular cases. Our theoretical bounds are demonstrated on both simulated and real data (MNIST). We conclude the manuscript with some speculation on possible future research directions.

研究动机与目标

• 建立对抗鲁棒性在一大类数据分布上的基本限制。
• 通过识别在何种几何条件下鲁棒性不可能实现，将先前的对抗机器学习中'无免费午餐'结果进行推广。
• 证明即使高准确率分类器在扰动超过与数据噪声和泛化误差相关的阈值时也存在脆弱性。
• 将对抗鲁棒性与数据的几何特性（如曲率和测度集中性）联系起来。
• 促使重新思考对抗机器学习中的威胁模型，以避免过于宽松的攻击者假设。

提出的方法

• 利用 $W_2$ Talagrand 输送成本不等式作为条件数据分布的充分条件，推导出鲁棒性限制。
• 运用几何概率和测度集中性，界定数据流形上到对抗样本的距离。
• 推导出临界扰动阈值 $\epsilon(h|k) \approx \sigma_k \Phi^{-1}(\text{acc}(h|k))$，超过该值后对抗欺骗极有可能发生。
• 应用高斯分布和对数凹分布的尾部界限，量化对抗误分类的可能性。
• 在模拟数据和MNIST上，通过深度前馈网络与CNN架构实证验证理论界限。
• 引入相变模型，其中对抗准确率在临界 $\epsilon$ 之前缓慢下降，之后呈指数衰减。

实验结果

研究问题

• RQ1 在何种数据分布的几何条件下，任何非完美分类器在对抗鲁棒性上都根本不可能实现？
• RQ2 对抗攻击的临界扰动阈值能否用分类器的泛化误差和数据噪声水平表示？
• RQ3 现有对抗鲁棒性结果（如Tsipras等人，2018年）在多大程度上可作为更广泛不可能性定理的特例？
• RQ4 测度集中性在流形上是否能完全刻画对抗鲁棒性和分布鲁棒性的极限？
• RQ5 对抗脆弱性的理论界限在真实数据集（如MNIST）中如何体现？

主要发现

• 在满足 $W_2$ Talagrand 不等式的任意数据分布上，若分类器泛化误差 $\text{err}(h|k) > 0$，则当扰动超过 $\epsilon(h|k) \approx \sigma_k \sqrt{2\log(1/\text{err}(h|k))}$ 时，其以高概率被对抗欺骗。
• 从类别 $k$ 的数据点到所有被错误分类的对抗样本集合的平均距离，上界为 $\sigma_k \left( \Phi^{-1}(\text{acc}(h|k)) + \sqrt{\pi/2} \right)$。
• 在模拟数据和MNIST上，对抗准确率在 $\epsilon = \epsilon_\infty(h|k)$ 之前缓慢下降，之后出现尖锐相变，随后呈指数衰减至随机水平。
• 理论相变在MNIST上的实证观察中得到匹配，表明其适用范围远超理想化分布。
• 该研究将先前的'无免费午餐'定理（如Tsipras等人，2018年）作为特例统一于单一几何框架之下。
• 研究表明，当前的威胁模型（如 $\ell_p$-有界扰动）可能过于宽松，重新思考攻击者约束或可缓解这些不可能性结果。