[论文解读] Certifying Confidence via Randomized Smoothing

Aounon Kumar, Alexander Levine+2 more|arXiv (Cornell University)|Sep 17, 2020

Adversarial Robustness in Machine Learning参考文献 37被引用 9

一句话总结

本文提出一种方法，通过利用基础分类器的置信度分数分布，而非仅依赖于二元投票，来认证随机平滑分类器的预测置信度。通过将Neyman-Pearson引理由调整以纳入Softmax置信度分数，该方法计算出更紧致的置信度阈值对应的认证半径，在CIFAR-10和ImageNet上的鲁棒性保证显著优于朴素边界。

ABSTRACT

Randomized smoothing has been shown to provide good certified-robustness guarantees for high-dimensional classification problems. It uses the probabilities of predicting the top two most-likely classes around an input point under a smoothing distribution to generate a certified radius for a classifier's prediction. However, most smoothing methods do not give us any information about the confidence with which the underlying classifier (e.g., deep neural network) makes a prediction. In this work, we propose a method to generate certified radii for the prediction confidence of the smoothed classifier. We consider two notions for quantifying confidence: average prediction score of a class and the margin by which the average prediction score of one class exceeds that of another. We modify the Neyman-Pearson lemma (a key theorem in randomized smoothing) to design a procedure for computing the certified radius where the confidence is guaranteed to stay above a certain threshold. Our experimental results on CIFAR-10 and ImageNet datasets show that using information about the distribution of the confidence scores allows us to achieve a significantly better certified radius than ignoring it. Thus, we demonstrate that extra information about the base classifier at the input point can help improve certified guarantees for the smoothed classifier. Code for the experiments is available at https://github.com/aounon/cdf-smoothing.

研究动机与目标

• 解决标准随机平滑中缺乏置信度信息的问题，后者仅认证预测类别而无法量化预测的确定性。
• 开发一种方法，认证平滑分类器的置信度分数，而不仅限于其预测类别。
• 通过利用基础分类器的置信度分数分布，而非同等对待所有投票，来提升认证鲁棒性。
• 证明结合置信度分数分布可显著优于忽略分布信息的朴素边界。

提出的方法

• 该方法用对输入周围高斯扰动下Softmax置信度分数的平均值替代二元投票。
• 通过置信度分数的累积分布函数（CDF）推导出在对抗性扰动下预测类别期望置信度的下界。
• 通过将Neyman-Pearson引理由调整以适应连续置信值，而非仅依赖投票计数，构建该边界。
• 使用二分查找算法计算最大的ℓ₂半径，使得在高概率下期望置信度仍高于用户定义的阈值。
• 采用两种置信度度量：最高类别预测分数的平均值，以及最高与第二高类别分数之间的差距。
• 该方法通过利用置信度分数的完整分布，相比朴素的Hoeffding边界，提供了更紧致的下界。

实验结果

研究问题

• RQ1 我们能否在平滑分类器中认证置信度分数，而不仅限于预测类别？
• RQ2 结合置信度分数分布是否能带来强于标准随机平滑的更强认证鲁棒性保证？
• RQ3 基于CDF的边界与忽略置信度分布的朴素边界相比，性能如何？
• RQ4 置信度认证平滑能否提升真实世界数据集（如CIFAR-10和ImageNet）上的认证准确率？

主要发现

• 在CIFAR-10和ImageNet上，基于CDF的方法在多个置信度阈值下均显著优于朴素边界，实现更高的认证准确率。
• 在CIFAR-10上，当σ=0.25且半径为0.25时，基于CDF的方法相比基线显著提升了认证准确率。
• 当阈值设为零时，基于差距的置信度度量相比平均预测分数略优。
• 该方法表明，置信度分数分布中蕴含可利用的信息，可显著增强认证鲁棒性，即使基础分类器的准确率已很高。