[论文解读] Data-Dependent Randomized Smoothing

Motasem Alfarra, Adel Bibi+2 more|arXiv (Cornell University)|Dec 8, 2020

Advanced Neural Network Applications参考文献 33被引用 6

一句话总结

本文提出数据相关性随机平滑，其中用于平滑的高斯噪声方差针对每个输入进行优化，以最大化认证半径。通过引入记忆增强型认证方法，该方法在不牺牲性能的前提下实现了可认证的鲁棒性，在半径 0.5 时，CIFAR-10 和 ImageNet 上的认证准确率分别较基线提升 9% 和 6%。

ABSTRACT

Randomized smoothing is a recent technique that achieves state-of-art performance in training certifiably robust deep neural networks. While the smoothing family of distributions is often connected to the choice of the norm used for certification, the parameters of these distributions are always set as global hyper parameters independent from the input data on which a network is certified. In this work, we revisit Gaussian randomized smoothing and show that the variance of the Gaussian distribution can be optimized at each input so as to maximize the certification radius for the construction of the smooth classifier. Since the data dependent classifier does not directly enjoy sound certification with existing approaches, we propose a memory-enhanced data dependent smooth classifier that is certifiable by construction. This new approach is generic, parameter-free, and easy to implement. In fact, we show that our data dependent framework can be seamlessly incorporated into 3 randomized smoothing approaches, leading to consistent improved certified accuracy. When this framework is used in the training routine of these approaches followed by a data dependent certification, we achieve 9% and 6% improvement over the certified accuracy of the strongest baseline for a radius of 0.5 on CIFAR10 and ImageNet.

研究动机与目标

• 为解决固定方差随机平滑的次优鲁棒性问题，该方法在远离决策边界的输入上认证不足，而在靠近决策边界的输入上则发生误分类。
• 开发一种数据相关性平滑框架，其中噪声方差针对每个输入进行优化，以最大化认证半径。
• 提出一种记忆增强型认证机制，通过构造确保数据相关性平滑分类器本身具备可认证的鲁棒性。
• 在多种随机平滑方法上展示该框架的通用性与有效性。
• 通过将数据相关性平滑整合到训练与认证流程中，实现在 CIFAR-10 和 ImageNet 上的最先进认证准确率。

提出的方法

• 针对每个输入 $x$ 优化输入特定的噪声方差 $\sigma_x^*$，以最大化认证半径，用数据相关性 $\sigma_x$ 取代固定的 $\sigma$。
• 使用基于记忆的机制在推理过程中存储并检索每个输入的最优 $\sigma_x^*$，从而实现高效且可认证的预测。
• 将数据相关性平滑集成到现有的随机平滑框架中，例如使用高斯噪声的框架，而无需修改底层训练过程。
• 使用 $K$ 个扰动的蒙特卡洛采样来估计平滑分类器输出，并通过记忆增强方法计算认证。
• 构建平滑分类器 $g(x) = \mathbb{E}_{\epsilon \sim \mathcal{N}(0, \sigma_x^2 I)}[f(x + \epsilon)]$，其中 $\sigma_x^*$ 通过优化为每个输入学习得到。
• 通过利用存储的 $\sigma_x^*$ 值并应用概率界来验证计算半径内的鲁棒性，从而确保认证。

实验结果

研究问题

• RQ1 与固定方差平滑相比，随机平滑中的输入特定噪声方差是否能提升认证半径？
• RQ2 当经典认证方法不再适用时，如何使数据相关性平滑分类器具备可认证的鲁棒性？
• RQ3 数据相关性平滑对标准基准（如 CIFAR-10 和 ImageNet）上的认证准确率有何影响？
• RQ4 所提出的框架能否无缝集成到现有的随机平滑训练流程中，而无需架构更改？
• RQ5 针对每个输入优化 $\sigma_x^*$ 是否能在多种数据分布上持续提升鲁棒性与准确率？

主要发现

• 所提出的基于数据相关性平滑的框架在 $\ell_2$ 半径为 0.5 时，相较于最强基线，使 CIFAR-10 的认证准确率提升 9%，ImageNet 提升 6%。
• 在 $\sigma = 0.5$ 时，该方法在半径 2.50 的 CIFAR-10 上实现了 63.0% 的认证准确率，显著优于固定-$\sigma$ 基线。
• 记忆增强型认证机制实现了对数据相关性平滑分类器的可靠且高效的认证，同时保持了理论保证。
• 该框架具有通用性，可应用于多种随机平滑方法，在所有测试方法中均一致提升了认证准确率。
• 针对每个输入优化 $\sigma_x^*$ 减少了对干净输入的认证不足，并避免了在决策边界附近的误分类，从而提升了鲁棒性。
• 该方法在 CIFAR-10 和 ImageNet 上均实现了最先进的认证准确率，证明了数据相关性平滑在实践中的有效性。