[论文解读] Higher-Order Certification for Randomized Smoothing

Jeet Mohapatra, Ching-Yun Ko+4 more|arXiv (Cornell University)|Oct 13, 2020

Adversarial Robustness in Machine Learning参考文献 15被引用 5

一句话总结

本文提出了一种用于随机平滑的高阶认证框架，利用一阶及更高阶信息（例如梯度、Hessian 矩阵）显著扩展了现有方法的认证鲁棒性半径。通过将认证重新表述为嵌套优化问题，并引入一阶统计量的高置信估计器，该方法在 CIFAR-10 和 ImageNet 上的 $σ$-高斯平滑分类器中实现了最先进的认证准确率，尤其在 $σ$-范数和子空间 $σ$-范数攻击下表现突出，同时保持了接近最优的 $σ$-范数性能。

ABSTRACT

Randomized smoothing is a recently proposed defense against adversarial attacks that has achieved SOTA provable robustness against $\ell_2$ perturbations. A number of publications have extended the guarantees to other metrics, such as $\ell_1$ or $\ell_\infty$, by using different smoothing measures. Although the current framework has been shown to yield near-optimal $\ell_p$ radii, the total safety region certified by the current framework can be arbitrarily small compared to the optimal. In this work, we propose a framework to improve the certified safety region for these smoothed classifiers without changing the underlying smoothing scheme. The theoretical contributions are as follows: 1) We generalize the certification for randomized smoothing by reformulating certified radius calculation as a nested optimization problem over a class of functions. 2) We provide a method to calculate the certified safety region using $0^{th}$-order and $1^{st}$-order information for Gaussian-smoothed classifiers. We also provide a framework that generalizes the calculation for certification using higher-order information. 3) We design efficient, high-confidence estimators for the relevant statistics of the first-order information. Combining the theoretical contribution 2) and 3) allows us to certify safety region that are significantly larger than the ones provided by the current methods. On CIFAR10 and Imagenet datasets, the new regions certified by our approach achieve significant improvements on general $\ell_1$ certified radii and on the $\ell_2$ certified radii for color-space attacks ($\ell_2$ restricted to 1 channel) while also achieving smaller improvements on the general $\ell_2$ certified radii. Our framework can also provide a way to circumvent the current impossibility results on achieving higher magnitude of certified radii without requiring the use of data-dependent smoothing techniques.

研究动机与目标

• 解决当前随机平滑框架的局限性，即尽管 $σ$-范数半径接近最优，认证安全区域仍可能任意小。
• 在不改变底层平滑方案或无需依赖数据的平滑方式的前提下，提升认证鲁棒性。
• 开发一种与威胁模型无关的认证框架，利用分类器的局部属性（如梯度和 Hessian 矩阵）实现认证。
• 设计高效、高置信的一阶信息估计器，以降低样本复杂度。

提出的方法

• 将认证半径计算重新表述为一类函数上的嵌套优化问题，从而支持更高阶信息的使用。
• 利用零阶和一阶信息，推导出 $σ$-范数威胁模型（$p=1,2,\infty$）及其子空间变体的认证半径解析公式。
• 提出一种框架，将认证推广至更高阶信息（如 Hessian 矩阵），以获得更优的鲁棒性边界。
• 利用次高斯浓度和经验矩界，设计高效、高置信的一阶统计量（如梯度）估计器。
• 采用带有置信区间的蒙特卡洛采样，以降低样本复杂度，估计 $y^{(0)}$ 和 $y^{(1)}$。
• 在 CIFAR-10 和 ImageNet 上验证该方法，分别使用 $N=200,000$ 和 $N=1,250,000$ 个样本，置信水平 $\alpha=0.001$。

实验结果

研究问题

• RQ1 是否可以在不改变平滑度量的前提下，显著提升认证鲁棒性，超越当前的随机平滑方法？
• RQ2 是否可以利用平滑分类器的一阶和更高阶信息，实现更大的认证安全区域？
• RQ3 是否可以利用更高阶信息绕过现有理论中关于无法获得更大 $σ$-范数半径的不可能性结果？
• RQ4 如何为实际认证构建高置信、低样本复杂度的一阶统计量估计器？
• RQ5 所提出的框架是否在提升其他威胁模型性能的同时，仍保持接近最优的 $σ$-范数鲁棒性？

主要发现

• 所提方法在 CIFAR-10 和 ImageNet 上对 $σ$-范数和子空间 $σ$-范数攻击实现了显著更大的认证半径，认证准确率大幅提升。
• 在 $σ$-范数攻击下，认证半径的提升幅度较小，与现有方法接近最优的特性一致。
• 在 $σ$-范数子空间攻击（例如，扰动被限制在单个颜色通道）下，认证半径相比基线方法显著增加。
• 该框架在使用更高阶信息时，可实现高斯平滑分类器的渐近最优认证，从而绕过现有不可能性结果。
• 使用更多样本（$N=6.4M$）可将认证准确率提升的范围扩展至更大的半径，尽管在极高半径下的增益仍有限。
• 该方法在 $σ$-范数攻击下保持或略微提升认证准确率，证实了其在各类威胁模型下的鲁棒性。