[论文解读] Evaluating Robustness of Predictive Uncertainty Estimation: Are Dirichlet-based Models Reliable?

Anna-Kathrin Kopetzki, Bertrand Charpentier+3 more|arXiv (Cornell University)|Oct 28, 2020

Statistical Methods and Inference被引用 10

一句话总结

本文评估了基于狄利克雷分布的不确定性（DBU）模型——近期提出的一种用于深度学习中快速、高质量不确定性估计的方法——在对抗性攻击下的鲁棒性。尽管前景可观，但研究发现DBU模型在可靠指示误分类样本、检测对抗性样本或区分分布内与分布外数据方面表现不佳。一种新型中值平滑技术显著提升了鲁棒性，优于对抗性训练。

ABSTRACT

Dirichlet-based uncertainty (DBU) models are a recent and promising class of uncertainty-aware models. DBU models predict the parameters of a Dirichlet distribution to provide fast, high-quality uncertainty estimates alongside with class predictions. In this work, we present the first large-scale, in-depth study of the robustness of DBU models under adversarial attacks. Our results suggest that uncertainty estimates of DBU models are not robust w.r.t. three important tasks: (1) indicating correctly and wrongly classified samples; (2) detecting adversarial examples; and (3) distinguishing between in-distribution (ID) and out-of-distribution (OOD) data. Additionally, we explore the first approaches to make DBU models more robust. While adversarial training has a minor effect, our median smoothing based approach significantly increases robustness of DBU models.

研究动机与目标

• 评估基于狄利克雷分布的不确定性（DBU）模型在多种对抗性攻击设置下，于关键不确定性估计任务中的鲁棒性。
• 探究DBU模型是否能可靠识别误分类样本、检测对抗性样本，并区分分布内与分布外数据。
• 探索提升DBU模型对抗性扰动鲁棒性的方法。
• 比较对抗性训练与中值平滑在增强DBU模型鲁棒性方面的有效性。

提出的方法

• 作者在多种对抗性攻击设置下，基于标准基准对DBU模型进行了大规模实证研究。
• 采用三项核心评估任务：识别误分类样本、检测对抗性样本，以及区分分布内与分布外输入。
• 所提出的中值平滑方法在模型logits阶段应用空间滤波，再进行狄利克雷参数预测，从而增强鲁棒性。
• 将对抗性训练作为基线鲁棒性技术用于对比。
• 通过准确率、不确定性校准度以及多种数据集和攻击类型下的检测率来衡量性能。
• 使用ID-攻击成功率和基于不确定性的检测性能等指标对模型进行评估。

实验结果

研究问题

• RQ1 在对抗性扰动下，基于狄利克雷分布的不确定性模型能否可靠指示样本是否被正确或错误分类？
• RQ2 与标准模型相比，DBU模型在多大程度上能够检测对抗性样本？
• RQ3 在攻击下，DBU模型在区分分布内与分布外样本方面表现如何？
• RQ4 对抗性训练是否能提升DBU模型在不确定性估计任务中的鲁棒性？
• RQ5 与对抗性训练相比，中值平滑是否能成为更有效的提升DBU模型鲁棒性的方法？

主要发现

• DBU模型在对抗攻击下无法可靠指示误分类样本，检测率显著下降。
• 在ID-攻击设置下，标准DBU模型对对抗性样本的检测率仅为30.7%，表明其鲁棒性较差。
• 中值平滑显著提升了对抗性检测性能，平均检测率提升至70.5%。
• PriorNet（一种平滑变体）在干净数据上实现了99.8%的准确率和99.8%的不确定性校准度，优于未平滑模型。
• 对抗性训练仅带来微弱的鲁棒性提升，表明其对DBU模型效果有限。
• 研究结果表明，DBU模型的不确定性估计对对抗性扰动高度敏感，严重削弱了其在安全关键应用中的可靠性。