[论文解读] Dropout Distillation for Efficiently Estimating Model Confidence

Corina Gurău, Alex Bewley+1 more|arXiv (Cornell University)|Sep 27, 2018

Adversarial Robustness in Machine Learning参考文献 2被引用 18

一句话总结

本文提出了一种Dropout知识蒸馏网络（DDN），通过训练学生网络模仿教师网络的蒙特卡洛Dropout样本，以改进标准神经网络的模型校准性。该方法在推理时仅需单次前向传播，即可获得与100次MC采样相当的不确定性估计，同时在不采样的情况下提升了校准性与准确性，适用于实时部署。

ABSTRACT

We propose an efficient way to output better calibrated uncertainty scores from neural networks. The Distilled Dropout Network (DDN) makes standard (non-Bayesian) neural networks more introspective by adding a new training loss which prevents them from being overconfident. Our method is more efficient than Bayesian neural networks or model ensembles which, despite providing more reliable uncertainty scores, are more cumbersome to train and slower to test. We evaluate DDN on the the task of image classification on the CIFAR-10 dataset and show that our calibration results are competitive even when compared to 100 Monte Carlo samples from a dropout network while they also increase the classification accuracy. We also propose better calibration within the state of the art Faster R-CNN object detection framework and show, using the COCO dataset, that DDN helps train better calibrated object detectors.

研究动机与目标

• 解决标准神经网络在不确定性估计中过度自信的问题，该问题限制了其在真实场景中的部署。
• 开发一种计算高效的替代方案，以替代需要在推理时进行昂贵采样的贝叶斯神经网络和模型集成方法。
• 通过蒸馏蒙特卡洛Dropout样本中的不确定性知识，在不降低模型容量的前提下提升模型校准性。
• 在图像分类与目标检测任务中，利用学生-教师蒸馏框架同时提升校准性与准确率。

提出的方法

• 训练教师网络以在训练数据上最大化分类准确率。
• 在训练过程中从教师网络生成蒙特卡洛Dropout样本，以近似后验预测分布。
• 训练学生网络（DDN）以匹配教师网络蒙特卡洛样本的输出概率，采用一种新设计的蒸馏损失，以惩罚过度自信。
• 在训练过程中应用该蒸馏损失，以促使学生网络生成更可靠、更校准的不确定性评分。
• 使用训练好的DDN进行推理，仅需单次前向传播，避免在测试时采样。
• 在CIFAR-10上评估DDN的图像分类性能，在COCO上评估Faster R-CNN目标检测性能，与基线方法及MC-Dropout进行校准性与准确率对比。

实验结果

研究问题

• RQ1 是否可以在不进行测试时采样的前提下，使非贝叶斯神经网络更具自省性并实现更好的校准性？
• RQ2 从蒙特卡洛Dropout样本中进行知识蒸馏，能否改善标准网络的不确定性估计？
• RQ3 所提方法是否能在更高效的前提下，实现与100次MC-Dropout样本相当的校准性能？
• RQ4 DDN是否能在图像分类与目标检测任务中同时提升模型校准性与准确率？
• RQ5 在校准性与推理速度方面，DDN与当前最先进方法（如模型集成与贝叶斯神经网络）相比表现如何？

主要发现

• DDN在测试时仅需单次前向传播，即可实现与100次Dropout采样相当的校准性能。
• DDN在不以准确率为首要目标的前提下，仍相比基线模型提升了分类准确率。
• 在CIFAR-10上，83.23%的测试样本中，DDN为真实类别分配的概率高于基线模型，尤其在基线模型过度自信的情况下表现更优。
• 在COCO数据集上的Faster R-CNN目标检测任务中，DDN降低了对假阳性的置信度，同时保持对真正阳性的高置信度，提升了检测器的自省能力。
• 在70%的误分类样本中，DDN为真实类别分配的概率高于基线模型；在6.56%的案例中，两模型均失败，但DDN对错误类别的置信度更低。
• DDN成功降低了在模糊或困难样本（如被误分类为飞机的鸟、被误分类为猫的狗）中的过度自信，通过分配更均衡的概率分布实现。