[论文解读] Black-Box Certification with Randomized Smoothing: A Functional Optimization Based Framework

Dinghuai Zhang, Mao Ye+3 more|arXiv (Cornell University)|Feb 21, 2020

Adversarial Robustness in Machine Learning参考文献 34被引用 21

一句话总结

本文提出了一种用于黑箱对抗性认证的函数优化框架，采用非高斯平滑分布，实现了对 ℓ₁、ℓ₂ 和 ℓ∞ 攻击的改进鲁棒性认证。通过重新思考通过分布设计实现的准确率与鲁棒性之间的权衡，该方法在 CIFAR-10 和 ImageNet 上实现了优于以往基于高斯分布的方法的更紧致认证边界。

ABSTRACT

Randomized classifiers have been shown to provide a promising approach for achieving certified robustness against adversarial attacks in deep learning. However, most existing methods only leverage Gaussian smoothing noise and only work for $\ell_2$ perturbation. We propose a general framework of adversarial certification with non-Gaussian noise and for more general types of attacks, from a unified functional optimization perspective. Our new framework allows us to identify a key trade-off between accuracy and robustness via designing smoothing distributions, helping to design new families of non-Gaussian smoothing distributions that work more efficiently for different $\ell_p$ settings, including $\ell_1$, $\ell_2$ and $\ell_\infty$ attacks. Our proposed methods achieve better certification results than previous works and provide a new perspective on randomized smoothing certification.

研究动机与目标

• 解决现有随机平滑方法仅依赖高斯噪声且在高维空间中表现次优的局限性。
• 开发一个统一的对抗性认证框架，支持非高斯平滑分布和通用 ℓp-范数攻击。
• 通过函数优化识别并利用准确率-鲁棒性权衡，以设计更优的平滑分布。
• 在超越高斯平滑局限性的前提下，提升 ℓ₁、ℓ₂ 和 ℓ∞ 攻击设置下的认证性能。

提出的方法

• 将黑箱认证形式化为一个函数优化问题，将先前方法（如文献 9 和 14）统一为特例。
• 提出一种新颖框架，通过 Eq. (9) 的权衡分解，优化平滑分布以平衡准确率与鲁棒性。
• 利用拉格朗日松弛和 f-散度基界，推导出认证的必要与充分条件。
• 提出新的非高斯平滑分布族，其分布更集中于中心区域，从而在 ℓ₁、ℓ₂ 和 ℓ∞ 设置下提升性能。
• 开发一种高效的计算方法，以实现该框架在大规模模型上的实际部署。
• 提出一种基于 ℓ₂ 和 ℓ∞ 范数的混合分布，用于 ℓ∞ 攻击者，这是此前未被探索的新方法。

实验结果

研究问题

• RQ1 函数优化框架能否在通用 ℓp-范数攻击下，超越高斯平滑实现更优的对抗性认证？
• RQ2 在高维空间中，准确率-鲁棒性权衡如何表现？是否可被用于设计更优的平滑分布？
• RQ3 非高斯平滑分布能否在 ℓ₁、ℓ₂ 和 ℓ∞ 鲁棒性认证中超越高斯分布？
• RQ4 从函数优化视角出发，能否推导出新型平滑分布以增强认证性能？
• RQ5 在平滑分布中结合 ℓ₂ 和 ℓ∞ 范数是否能提升对 ℓ∞ 攻击者的鲁棒性？

主要发现

• 所提出的框架在 CIFAR-10 和 ImageNet 上对 ℓ₁、ℓ₂ 和 ℓ∞ 攻击的认证结果优于以往工作。
• 通过函数优化框架设计的非高斯平滑分布优于高斯平滑，尤其在高维设置下表现更优。
• 该框架识别出准确率与鲁棒性之间的一个关键权衡，可通过分布设计系统性地加以利用。
• 一种结合 ℓ₂ 和 ℓ∞ 范数的新型平滑分布显著提升了对 ℓ∞ 攻击者的经验认证性能，这是此前未被探索的方向。
• 该方法提供的认证边界比先前方法更紧致，尤其在具有大量类别的多分类设置中表现更优。
• 实验结果证实，新分布相比高斯噪声在平衡不同 ℓp 范数下的鲁棒性与准确率方面更高效、更有效。