[论文解读] Boosting Randomized Smoothing with Variance Reduced Classifiers

Miklós Z. Horváth, Mark Niklas Müller+2 more|arXiv (Cornell University)|Jun 13, 2021

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出了一种方差减少的集成方法用于随机平滑（RS），通过利用模型集成作为基础分类器，显著提升了认证鲁棒性。通过降低噪声下的预测方差，该方法在CIFAR10和ImageNet上将可认证半径提高了5%至21%，分别实现了0.86和1.11的最先进（SOTA）平均认证准确率（ACR），同时引入自适应采样策略，将样本复杂度降低了最多55倍。

ABSTRACT

Randomized Smoothing (RS) is a promising method for obtaining robustness certificates by evaluating a base model under noise. In this work, we: (i) theoretically motivate why ensembles are a particularly suitable choice as base models for RS, and (ii) empirically confirm this choice, obtaining state-of-the-art results in multiple settings. The key insight of our work is that the reduced variance of ensembles over the perturbations introduced in RS leads to significantly more consistent classifications for a given input. This, in turn, leads to substantially increased certifiable radii for samples close to the decision boundary. Additionally, we introduce key optimizations which enable an up to 55-fold decrease in sample complexity of RS for predetermined radii, thus drastically reducing its computational overhead. Experimentally, we show that ensembles of only 3 to 10 classifiers consistently improve on their strongest constituting model with respect to their average certified radius (ACR) by 5% to 21% on both CIFAR10 and ImageNet, achieving a new state-of-the-art ACR of 0.86 and 1.11, respectively. We release all code and models required to reproduce our results at https://github.com/eth-sri/smoothing-ensembles.

研究动机与目标

• 从理论上和实证上证明，集成可降低随机平滑中的方差，从而提升认证鲁棒性。
• 通过引入自适应采样策略，解决RS认证的高计算成本问题，降低样本复杂度。
• 开发一种K一致性聚合机制，仅在最不确定的样本上执行完整集成评估，从而减少计算负载。
• 在多种基准测试（包括ImageNet和CIFAR10）中，实现最先进的认证准确率。
• 提供一种统计上可靠、依赖数据的框架，实现深度神经网络的高效且可扩展的认证。

提出的方法

• 提出一种RS的软集成方案，利用模型集成的方差减少特性，提升输入噪声下的预测一致性。
• 引入一种自适应采样策略，分阶段认证样本，根据早期预测置信度逐步增加样本数量。
• 采用K一致性聚合机制，仅在一组基础模型意见不一致时才评估完整集成，从而降低计算负担。
• 基于贝塔-二项分布建模，使用统计停止规则确定何时可高置信度地停止采样。
• 将该方法应用于标准平滑与去噪平滑，证明其在多种训练策略下的鲁棒性。
• 采用两阶段认证流程：首先使用小规模初始样本集估计类别概率；其次仅在置信度不足时再抽取额外样本。

实验结果

研究问题

• RQ1 模型集成能否显著降低随机平滑中的方差，从而提升可认证鲁棒性？
• RQ2 自适应采样如何在不降低置信度的前提下减少RS认证的样本复杂度？
• RQ3 集成规模与训练方法对认证半径和准确率有何影响？
• RQ4 K一致性聚合如何在保持高认证准确率的同时提升效率？
• RQ5 所提方法能否在标准与去噪平滑设置下，于ImageNet和CIFAR10上实现最先进认证准确率？

主要发现

• 在CIFAR10上，3至10个ResNet110模型的集成使平均认证半径（ACR）相比最强单个模型提升了5%至21%，达到SOTA的ACR 0.86。
• 在ImageNet上，该方法使用3至10个模型的集成，实现了新的SOTA ACR 1.11，显著优于单个模型。
• 自适应采样策略将平均认证时间最多降低了55倍，且准确率损失极小。
• K一致性聚合将完整集成评估仅应用于ResNet20的1.00%样本和ResNet110的0.00%样本，大幅降低计算量。
• 基于一致性的采样策略相比高斯采样实现了更高的认证准确率，尤其在较大半径下，得益于更优的早期停止决策。
• 该方法在不同训练方法和扰动水平下均保持高性能，展现出强鲁棒性与泛化能力。