[论文解读] Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness

Aounon Kumar, Alexander Levine+2 more|arXiv (Cornell University)|Feb 8, 2020

Adversarial Robustness in Machine Learning参考文献 29被引用 28

一句话总结

本文表明，当防御 $\varepsilon$-有界 $\ell_p$-范数对抗样本且 $p > 2$ 时，随机平滑在保证鲁棒性方面受到维度灾难的严重影响，因为认证鲁棒性半径随维度 $d$ 呈 $O(1/d^{1/2 - 1/p})$ 衰减，适用于独立同分布的平滑分布。本文证明高斯平滑在常数因子范围内达到最优缩放性能，并表明其他分布（如 $\ell_1$ 或 $\ell_\infty$-范数球上的均匀分布）在维度上的依赖性更差。

ABSTRACT

Randomized smoothing, using just a simple isotropic Gaussian distribution, has been shown to produce good robustness guarantees against $\ell_2$-norm bounded adversaries. In this work, we show that extending the smoothing technique to defend against other attack models can be challenging, especially in the high-dimensional regime. In particular, for a vast class of i.i.d.~smoothing distributions, we prove that the largest $\ell_p$-radius that can be certified decreases as $O(1/d^{\frac{1}{2} - \frac{1}{p}})$ with dimension $d$ for $p > 2$. Notably, for $p \geq 2$, this dependence on $d$ is no better than that of the $\ell_p$-radius that can be certified using isotropic Gaussian smoothing, essentially putting a matching lower bound on the robustness radius. When restricted to {\it generalized} Gaussian smoothing, these two bounds can be shown to be within a constant factor of each other in an asymptotic sense, establishing that Gaussian smoothing provides the best possible results, up to a constant factor, when $p \geq 2$. We present experimental results on CIFAR to validate our theory. For other smoothing distributions, such as, a uniform distribution within an $\ell_1$ or an $\ell_\infty$-norm ball, we show upper bounds of the form $O(1 / d)$ and $O(1 / d^{1 - \frac{1}{p}})$ respectively, which have an even worse dependence on $d$.

研究动机与目标

• 研究在高维空间中，针对 $\ell_p$-范数有界对抗样本（$p > 2$）时，随机平滑的根本限制。
• 确定其他独立同分布的平滑分布（如拉普拉斯分布或 $\ell_1$/$\ell_\infty$-范数球上的均匀分布）是否能在维度 $d$ 上实现优于高斯平滑的认证鲁棒性半径缩放。
• 为包括高斯、拉普拉斯以及 $\ell_1$/$\ell_\infty$-范数球上均匀分布在内的多种平滑分布，建立最大可认证 $\ell_p$-半径的理论边界。
• 在 CIFAR-10 上通过实验验证理论发现，并分析输入维度、分类器在噪声输入上的准确率与认证鲁棒性之间的相互作用。

提出的方法

• 推导出具有连续、对称、单峰噪声的独立同分布平滑分布的认证 $\ell_p$-半径上界，证明当 $p > 2$ 时，有 $r_p^* \leq \frac{\sigma}{2\sqrt{2}d^{1/2 - 1/p}} \left( \frac{1}{\sqrt{1 - p_1(x)}} + \frac{1}{\sqrt{p_2(x)}} \right)$。
• 为广义高斯平滑建立更紧的上界，证明 $r_p^* \leq \frac{2\sigma}{d^{1/2 - 1/p}} \left( \sqrt{\log \frac{1}{1 - p_1(x)}} + \sqrt{\log \frac{1}{p_2(x)}} \right)$，该结果在 $p_1(x)$ 和 $p_2(x)$ 满足特定条件时成立。
• 分析 $\ell_\infty$-范数球上的均匀平滑，证明 $r_p^* < \frac{2b}{d^{1 - 1/p}} = \frac{2\sqrt{3}\sigma}{d^{1 - 1/p}}$，其中 $\sigma^2 = b^2/3$。
• 分析 $\ell_1$-范数球上的均匀平滑，推导出 $r_p^* < \frac{2b}{d}$，该结果与 $p$ 以及 $p_1(x), p_2(x)$ 无关，表明其随维度衰减更强。
• 通过在 CIFAR-10 上的实验评估验证理论边界，并研究输入分辨率与噪声方差对认证鲁棒性的影响。
• 分析分类器在噪声输入上的准确率（$p_1(x)$）与鲁棒性缩放之间的相互作用，表明提高分辨率可在实际中部分缓解维度灾难的影响。

实验结果

研究问题

• RQ1 对于 $p > 2$ 的独立同分布平滑分布，认证 $\ell_p$-半径如何随维度 $d$ 变化？
• RQ2 在高维空间中，非高斯的独立同分布平滑分布（如拉普拉斯分布或 $\ell_1$/$\ell_\infty$-范数球上的均匀分布）是否能实现优于高斯平滑的鲁棒性缩放？
• RQ3 在独立同分布平滑下，$\ell_p$-范数对抗样本（$p > 2$）的认证鲁棒性理论极限是什么？与高斯平滑相比如何？
• RQ4 提高输入分辨率或增加噪声方差在多大程度上可以补偿维度引起的认证鲁棒性衰减？
• RQ5 不同平滑分布和数据集分辨率下，$r_p^*$ 的理论边界与实际性能相比如何？

主要发现

• 对于具有连续支撑的一类广泛独立同分布平滑分布，当 $p > 2$ 时，认证 $\ell_p$-半径以 $O(1/d^{1/2 - 1/p})$ 衰减，表明存在根本性的维度灾难。
• 如渐近情形下上下界匹配所示，高斯平滑在 $p \geq 2$ 时达到与维度 $d$ 最优缩放性能，仅相差一个常数因子。
• 在 $\ell_\infty$-范数球上使用均匀分布平滑，可得认证半径上界为 $O(1/d^{1 - 1/p})$，当 $p > 2$ 时其衰减快于高斯平滑。
• 在 $\ell_1$-范数球上均匀平滑，可得认证半径上界为 $O(1/d)$，其衰减更严重，且与 $p$ 以及分类器置信度 $p_1(x), p_2(x)$ 无关。
• 在 CIFAR-10 上的实验结果验证了理论衰减率，表明对于 $p > 2$，鲁棒性证书随维度增加而下降。
• 尽管更高分辨率的图像可提升 $p_1(x)$ 并在一定程度上缓解 $d$-依赖性，但该效应不足以克服真实数据集（如 ImageNet）中的维度灾难，因为 $p_1(x)$ 并未随 $d$ 充分增长。