[论文解读] Enhancing Certified Robustness via Smoothed Weighted Ensembling

Chizhou Liu, Yunzhen Feng+2 more|arXiv (Cornell University)|May 19, 2020

Adversarial Robustness in Machine Learning参考文献 63被引用 5

一句话总结

本文提出平滑加权集成（SWEEN），一种通过学习到的最优权重最优组合多个预训练基础模型，以增强随机平滑分类器认证鲁棒性的方法。SWEEN在降低训练成本的同时，实现了更优的认证鲁棒性和准确性，优于单个模型和标准集成模型，且理论分析在温和假设下保证了近似最优的鲁棒性。

ABSTRACT

Randomized smoothing has achieved state-of-the-art certified robustness against $l_2$-norm adversarial attacks. However, it is not wholly resolved on how to find the optimal base classifier for randomized smoothing. In this work, we employ a Smoothed WEighted ENsembling (SWEEN) scheme to improve the performance of randomized smoothed classifiers. We show the ensembling generality that SWEEN can help achieve optimal certified robustness. Furthermore, theoretical analysis proves that the optimal SWEEN model can be obtained from training under mild assumptions. We also develop an adaptive prediction algorithm to reduce the prediction and certification cost of SWEEN models. Extensive experiments show that SWEEN models outperform the upper envelope of their corresponding candidate models by a large margin. Moreover, SWEEN models constructed using a few small models can achieve comparable performance to a single large model with a notable reduction in training time.

研究动机与目标

• 为解决随机平滑中选择最优基础分类器以最大化认证鲁棒性的开放问题。
• 通过模型集成提升平滑分类器性能，同时不损害可扩展性或鲁棒性保证。
• 开发一种高效、自适应的预测算法，以降低集成模型推理和认证的计算成本。
• 证明SWEEN可通过理论分析和实证验证实现近似最优的认证鲁棒性。

提出的方法

• SWEEN通过使用学习到的最优权重集成多个预训练基础模型，构建平滑分类器，以最大化鲁棒性。
• 该方法利用集成与平滑的可交换性质，使最终模型可视为加权集成的平滑版本。
• 使用代理损失函数在验证集上训练集成权重，以实现对γ-鲁棒性准则下最小风险的优化。
• 引入一种自适应预测算法，通过在预测过程中动态选择相关基础模型，降低推理和认证时间。
• 理论分析证明，在温和假设下，SWEEN可实现近似最优的鲁棒性，且对最终模型风险的泛化界有保证。
• 该方法兼容任何基础模型训练方法，包括标准训练、对抗性训练或MACER训练。

实验结果

研究问题

• RQ1 模型集成能否在随机平滑中实现超越单个基础模型性能的认证鲁棒性？
• RQ2 在γ-鲁棒性指标下，最优加权集成的认证鲁棒性具有何种理论保证？
• RQ3 如何在不牺牲鲁棒性的前提下，降低集成平滑分类器的预测与认证成本？
• RQ4 SWEEN能否在显著降低训练时间的前提下，实现与单个大模型相当或更优的性能？
• RQ5 SWEEN在面对如AutoAttack等强对抗攻击时，是否能保持或提升实际鲁棒性？

主要发现

• SWEEN模型在所有评估任务中均显著优于其候选模型的上包络线，展现出更优的认证鲁棒性。
• 在CIFAR-10上，SWEEN-3（经标准训练）在σ=0.25时达到67.0%的认证准确率，超过ResNet-20（64.7%）和ResNet-26（65.4%）在相同噪声水平下的表现。
• 由少数小型模型构建的SWEEN模型实现了与单个大型模型相当的性能，且训练时间显著减少。
• 自适应预测算法有效降低了推理与认证的计算成本，同时保持了高鲁棒性。
• SWEEN在AutoAttack下保持了强大的实际鲁棒性，在σ=0.25时达到67.0%的准确率，优于标准ResNet-20的64.7%。
• 理论分析证实，在温和假设下，SWEEN可高概率收敛至近似最优风险，验证了其优化稳定性。