[论文解读] Certified Robustness for Top-k Predictions against Adversarial Perturbations via Randomized Smoothing

Jinyuan Jia, Xiaoyu Cao+2 more|arXiv (Cornell University)|Dec 20, 2019

Adversarial Robustness in Machine Learning参考文献 68被引用 34

一句话总结

本文在高斯随机平滑下推导了顶-k 预测的紧致认证鲁棒半径，将认证鲁棒性从 top-1 扩展到 top-k，并提供实用的估计算法以及在 CIFAR-10 和 ImageNet 上的经验验证。

ABSTRACT

It is well-known that classifiers are vulnerable to adversarial perturbations. To defend against adversarial perturbations, various certified robustness results have been derived. However, existing certified robustnesses are limited to top-1 predictions. In many real-world applications, top-$k$ predictions are more relevant. In this work, we aim to derive certified robustness for top-$k$ predictions. In particular, our certified robustness is based on randomized smoothing, which turns any classifier to a new classifier via adding noise to an input example. We adopt randomized smoothing because it is scalable to large-scale neural networks and applicable to any classifier. We derive a tight robustness in $\ell_2$ norm for top-$k$ predictions when using randomized smoothing with Gaussian noise. We find that generalizing the certified robustness from top-1 to top-$k$ predictions faces significant technical challenges. We also empirically evaluate our method on CIFAR10 and ImageNet. For example, our method can obtain an ImageNet classifier with a certified top-5 accuracy of 62.8\% when the $\ell_2$-norms of the adversarial perturbations are less than 0.5 (=127/255). Our code is publicly available at: \url{https://github.com/jjy1994/Certify_Topk}.

研究动机与目标

• 为顶-k 预测的鲁棒性保证提供动机，这在许多应用中比 top-1 更相关。
• 在高斯平滑下为顶-k 预测开发理论上紧致的认证半径。
• 提供实用算法来估计概率界限并计算认证半径。
• 在大规模数据集（CIFAR-10 和 ImageNet）上证明实际有效性。

提出的方法

• 使用带高斯噪声的随机平滑来定义平滑后的顶-k 分类器 g_k。
• 推导给定标签 l 和顶-k 集合的紧致认证半径 R_l，解出涉及 p_l 和 p_S_t 的特定方程。
• 提出两种基于蒙特卡洛的方法（BinoCP 和 SimuEM）以有置信度地界定标签概率 p_i。
• 开发一个通过对控制方程进行二分搜索来计算认证半径下界的算法。
• 给出带统计保证的实用预测和认证流程（算法 1 和算法 2）。
• 评估参数（k、sigma、n、alpha）如何影响 CIFAR-10 和 ImageNet 上的认证顶-k 准确性。

实验结果

研究问题

• RQ1 在随机平滑下，认证鲁棒性能否从 top-1 扩展到顶-k 预测？
• RQ2 带高斯噪声的顶-k 预测的认证半径的确切形式和紧致性是什么？
• RQ3 我们如何在实践中可靠地估计标签概率界限以计算认证半径？
• RQ4 实际参数（k、sigma、n、alpha）如何影响大型数据集上的认证顶-k 准确性？

主要发现

• 在高斯随机平滑下推导了顶-k 预测的第一条认证半径。
• 证明了在高斯平滑下认证半径的紧致性（在规定条件下）。
• 给出 ImageNet 结果：在 ell2 半径 0.5（sigma=0.5）下，认证的 top-1 为 46.6%，top-3 为 57.8%，top-5 为 62.8%。
• 给出 CIFAR-10 结果：在 ell2 半径 0.5（sigma=0.5）下，认证的 top-1 为 45.2%，top-2 为 58.8%，top-3 为 67.2%。
• 建立了带有置信度保证的概率界限的实用估计方法（SimuEM 和 BinoCP）。
• 提供了具有可证明保证的预测与认证工作流（算法 1 和算法 2）。