[论文解读] Improved, Deterministic Smoothing for L_1 Certified Robustness

Alexander Levine, Soheil Feizi|arXiv (Cornell University)|Mar 17, 2021

Adversarial Robustness in Machine Learning参考文献 30被引用 8

一句话总结

本文提出了一种新型非加法、确定性的方法——分割噪声的确定性平滑（DSSN），用于深度学习中的ℓ₁认证鲁棒性。通过利用输入空间的结构化分割而非独立的加法噪声，DSSN在CIFAR-10和ImageNet上实现了显著更大的鲁棒性认证范围，同时实现了更快、精确的认证，且无概率失败率。

ABSTRACT

Randomized smoothing is a general technique for computing sample-dependent robustness guarantees against adversarial attacks for deep classifiers. Prior works on randomized smoothing against L_1 adversarial attacks use additive smoothing noise and provide probabilistic robustness guarantees. In this work, we propose a non-additive and deterministic smoothing method, Deterministic Smoothing with Splitting Noise (DSSN). To develop DSSN, we first develop SSN, a randomized method which involves generating each noisy smoothing sample by first randomly splitting the input space and then returning a representation of the center of the subdivision occupied by the input sample. In contrast to uniform additive smoothing, the SSN certification does not require the random noise components used to be independent. Thus, smoothing can be done effectively in just one dimension and can therefore be efficiently derandomized for quantized data (e.g., images). To the best of our knowledge, this is the first work to provide deterministic "randomized smoothing" for a norm-based adversarial threat model while allowing for an arbitrary classifier (i.e., a deep model) to be used as a base classifier and without requiring an exponential number of smoothing samples. On CIFAR-10 and ImageNet datasets, we provide substantially larger L_1 robustness certificates compared to prior works, establishing a new state-of-the-art. The determinism of our method also leads to significantly faster certificate computation. Code is available at: https://github.com/alevine0/smoothingSplittingNoise

研究动机与目标

• 解决深度学习中ℓ₁对抗威胁下可扩展、确定性认证鲁棒性的缺乏问题。
• 克服先前依赖独立加法噪声并仅提供概率保证的随机平滑方法的局限性。
• 通过消除平滑过程中的随机性，实现对量化数据（如图像）的高效、精确认证。
• 在保持与任意深度基分类器兼容的同时，实现大于SOTA方法的ℓ₁鲁棒性认证范围。
• 证明通过结构化分割噪声实现的去随机化，不仅能提升鲁棒性，还能加快认证计算速度。

提出的方法

• 提出分割噪声（SSN），一种随机平滑方法，其中每个噪声样本通过随机划分输入空间并返回包含输入的分区中心生成。
• 设计DSSN作为SSN的确定性变体，将随机划分替换为固定、结构化的划分方案，以消除随机性。
• 利用SSN不要求独立噪声分量的事实，实现一维有效平滑，并简化去随机化过程。
• 利用SSN的边缘分布，推导出与均匀加法噪声的闭式关系，支持理论比较与验证。
• 应用稳定性训练以提升干净准确率与鲁棒性，尽管其在DSSN上的收益较加法平滑方法更小。
• 使用可微、可学习的划分机制实现该方法，以在训练和推理过程中保持模型性能。

实验结果

研究问题

• RQ1 非加法、确定性的平滑方法能否在ℓ₁认证鲁棒性上优于现有的随机平滑方法？
• RQ2 平滑过程的去随机化是否能同时带来更大的鲁棒性认证范围和更短的认证时间？
• RQ3 在ℓ₁范数下，结构化分割噪声能否在认证准确率上超越均匀加法噪声？
• RQ4 噪声表示方式的选择（加法型 vs. 分割型）在高噪声水平下对认证性能的影响有多大？
• RQ5 即使使用去噪技术或稳定性训练，加法噪声与分割噪声之间的性能差距是否依然存在？

主要发现

• 在CIFAR-10上，DSSN实现了SOTA认证准确率，在所有测试的ℓ₁半径ρ下均优于先前方法，ρ=0.5时准确率为72.25%，ρ=4.0时为33.64%。
• 在ImageNet上，DSSN在所有测试的噪声水平下均表现出更优的鲁棒性，使用σ=3.5时ρ=3.5的认证准确率达65.40%，超过加法平滑方法。
• DSSN的确定性特性实现了精确、非概率的认证，消除了随机平滑固有的失败率。
• 在中等噪声水平下，DSSN的性能优势主要源于去随机化，相比随机SSN显著降低了估计误差。
• 在高噪声水平下，DSSN与加法平滑之间的性能差距主要源于结构化噪声表示带来的基分类器泛化能力提升。
• 稳定性训练对DSSN的收益小于对加法平滑方法的收益，且在某些情况下甚至略微降低干净准确率，表明其优化动态存在差异。