[论文解读] Confidence Calibration for Convolutional Neural Networks Using Structured Dropout

Zhilu Zhang, Adrian V. Dalca+1 more|arXiv (Cornell University)|Jun 23, 2019

Adversarial Robustness in Machine Learning参考文献 44被引用 41

一句话总结

该论文将 MC dropout 视为一个集成，并展示结构化 dropout (dropBlock、dropChannel、dropLayer) 能提高模型多样性并改善相对于标准 MC dropout 与深度集成的置信度校准，且具有竞争力的准确度。

ABSTRACT

In classification applications, we often want probabilistic predictions to reflect confidence or uncertainty. Dropout, a commonly used training technique, has recently been linked to Bayesian inference, yielding an efficient way to quantify uncertainty in neural network models. However, as previously demonstrated, confidence estimates computed with a naive implementation of dropout can be poorly calibrated, particularly when using convolutional networks. In this paper, through the lens of ensemble learning, we associate calibration error with the correlation between the models sampled with dropout. Motivated by this, we explore the use of structured dropout to promote model diversity and improve confidence calibration. We use the SVHN, CIFAR-10 and CIFAR-100 datasets to empirically compare model diversity and confidence errors obtained using various dropout techniques. We also show the merit of structured dropout in a Bayesian active learning application.

研究动机与目标

• 促使对 CNN 的概率预测能够反映不确定性，并解决 MC dropout 的校准问题。
• 将 dropout 视为集成采样，并将校准误差与模型多样性联系起来。
• 提出结构化 dropout 以促进多样性并改善校准。
• 在 SVHN、CIFAR-10、CIFAR-100 上经验比较结构化 dropout 的变体。
• 在贝叶斯主动学习中展示实际收益。

提出的方法

• 将 MC dropout 视为一个 dropout 模型的集合，并通过歧义和均方误差分解将校准与集成多样性联系起来。
• 引入结构化 dropout 变体：dropBlock（块级）、dropChannel（通道级）、dropLayer（层级）。
• 使用这些 dropout 进行训练，并在测试时评估 MC 样本（T=30）的不确定性指标（ECE、NLL、Brier）和准确度。
• 在 SVHN、CIFAR-10、CIFAR-100 上使用 PreAct-ResNet 变体对比普通 dropout 和深度集成。
• 通过互评一致性 IA 评估集成多样性，并通过可靠性图研究校准。
• 将结构化 dropout 应用于贝叶斯主动学习，以展示在数据获取决策上的改进。

实验结果

研究问题

• RQ1 结构化 dropout 能否在 CNN 集成中提高模型多样性，相较于标准 dropout？
• RQ2 来自结构化 dropout 的更高多样性是否提高置信度校准（ECE、NLL、Brier），而不牺牲准确度？
• RQ3 相较于深度集成，结构化 dropout 变体在校准和不确定性指标上表现如何？
• RQ4 在主动学习场景中，结构化 dropout 是否有实际收益？

主要发现

• MC dropChannel 与 MC dropLayer 在各数据集上达到最佳的置信度校准，常在 ECE 上超越深度集成。
• 结构化 dropout 产生的集成预测比常规 dropout 更具多样性，表现为较低的互评一致性 IA 和更清晰的可靠性图。
• 在 SVHN、CIFAR-10、CIFAR-100 上，结构化 dropout 通常降低 NLL 和 ECE，且准确度与常规 dropout 相当或更好。
• MC dropLayer 对 dropout 率选择具有鲁棒性，且在更难的数据集上比标准 dropout 更有利于校准。
• 在贝叶斯主动学习中，结构化 dropout 相较于 MC dropout 能提高从标记数据中获得的准确度提升，适用于各种获取策略。