[论文解读] Almost Tight L0-norm Certified Robustness of Top-k Predictions against Adversarial Perturbations

Jinyuan Jia, Binghui Wang+3 more|arXiv (Cornell University)|Nov 15, 2020

Adversarial Robustness in Machine Learning参考文献 60被引用 5

一句话总结

本文提出了一种基于随机删减（randomized ablation）的几乎紧致的 L0-范数认证鲁棒性保证，用于 top-k 预测。随机删减是随机平滑的一种变体，通过子采样输入特征而非添加噪声来实现。该方法实现了当前最优的认证鲁棒性，在最多 5 个像素受到对抗性扰动的情况下，ImageNet 上的 top-3 准确率达到 69.2%。

ABSTRACT

Top-k predictions are used in many real-world applications such as machine learning as a service, recommender systems, and web searches. $\ell_0$-norm adversarial perturbation characterizes an attack that arbitrarily modifies some features of an input such that a classifier makes an incorrect prediction for the perturbed input. $\ell_0$-norm adversarial perturbation is easy to interpret and can be implemented in the physical world. Therefore, certifying robustness of top-$k$ predictions against $\ell_0$-norm adversarial perturbation is important. However, existing studies either focused on certifying $\ell_0$-norm robustness of top-$1$ predictions or $\ell_2$-norm robustness of top-$k$ predictions. In this work, we aim to bridge the gap. Our approach is based on randomized smoothing, which builds a provably robust classifier from an arbitrary classifier via randomizing an input. Our major theoretical contribution is an almost tight $\ell_0$-norm certified robustness guarantee for top-$k$ predictions. We empirically evaluate our method on CIFAR10 and ImageNet. For instance, our method can build a classifier that achieves a certified top-3 accuracy of 69.2\% on ImageNet when an attacker can arbitrarily perturb 5 pixels of a testing image.

研究动机与目标

• 为解决在真实应用场景（如机器学习即服务和推荐系统）中常见的 L0-范数对抗扰动下，top-k 预测认证鲁棒性的空白问题。
• 将认证鲁棒性从 top-1 预测扩展到 L0-范数扰动下的 top-k 预测，以提升可解释性与物理可实现性。
• 开发一种方法，为 L0-范数攻击下的 top-k 预测提供紧致的、概率性的认证鲁棒性保证，优于从 L2-范数保证转换而来的次优方法。
• 在大规模数据集（如 CIFAR10 和 ImageNet）以及 3D 深度学习任务中，展示该方法的可扩展性与有效性。

提出的方法

• 使用随机删减（一种随机平滑的变体），通过子采样输入特征而非添加噪声，构建平滑分类器。
• 通过在多个删减输入上聚合基分类器的预测概率，构建输出 top-k 标签的平滑分类器。
• 通过分析特征扰动下标签预测的概率分布，推导出几乎紧致的 L0-范数认证鲁棒性保证。
• 依赖于离散空间中的概率界和区域划分，证明在 L0-范数半径不超过某一值的扰动下，标签仍保留在 top-k 预测中。
• 将方法应用于图像分类、3D 点云分类（如 ModelNet40），并使用 PointNet 作为基分类器，以验证其通用性。
• 在离散空间中对严格区域约束进行松弛，以应对非连续划分的挑战，从而支持紧致性的证明。

实验结果

研究问题

• RQ1 我们能否在 L0-范数对抗扰动下，为 top-k 预测实现紧致的认证鲁棒性保证？
• RQ2 与仅认证 top-1 预测或使用 L2-范数边界的现有方法相比，top-k 预测的认证鲁棒性表现如何？
• RQ3 随机删减能否有效扩展以支持 top-k 输出预测，同时保持强鲁棒性保证？
• RQ4 在真实 L0-扰动设置下，该方法在 ImageNet 和 ModelNet40 等大规模基准上的实证性能如何？
• RQ5 该方法在不同架构和数据模态（如 3D 点云）上的可扩展性与泛化能力如何？

主要发现

• 当攻击者可扰动测试图像中最多 5 个像素时，该方法在 ImageNet 上实现了 69.2% 的认证 top-3 准确率。
• 在 CIFAR10 上，该方法对 1 至 5 个被扰动像素分别实现了 74.6%、71.8%、69.0%、66.0% 和 63.6% 的认证 top-1 准确率，优于先前工作。
• 在 ModelNet40 的 3D 点云分类任务中，当 10 个点被扰动时，该方法实现了 90.1% 的认证 top-3 准确率，扰动点数增至 50 个时下降至 77.5%。
• 与 Chiang 等人（2020）提出的最先进 top-1 L0-鲁棒方法相比，该方法在更高扰动水平下认证准确率超过两倍。
• 理论分析建立了几乎紧致的 L0-范数认证鲁棒性保证，其证明策略通过松弛严格的离散区域约束，实现了紧致性。
• 该方法具有良好的泛化能力，不仅适用于图像，还在使用 PointNet 作为基分类器的 3D 深度学习任务中表现出色。