[论文解读] Multi-Loss Sub-Ensembles for Accurate Classification with Uncertainty Estimation

Omer Achrack, Raizy Kellerman+1 more|arXiv (Cornell University)|Oct 5, 2020

Adversarial Robustness in Machine Learning参考文献 45被引用 4

一句话总结

该论文提出了一种多损失子集成方法，通过在共享特征上使用不同损失函数训练多个头，实现端到端训练，从而在保持低推理时间的同时实现高精度分类与不确定性估计。该方法在SVHN、CIFAR10、CIFAR100和ImageNet上均达到最先进性能，且不确定性校准表现优异。

ABSTRACT

Deep neural networks (DNNs) have made a revolution in numerous fields during the last decade. However, in tasks with high safety requirements, such as medical or autonomous driving applications, providing an assessment of the models reliability can be vital. Uncertainty estimation for DNNs has been addressed using Bayesian methods, providing mathematically founded models for reliability assessment. These model are computationally expensive and generally impractical for many real-time use cases. Recently, non-Bayesian methods were proposed to tackle uncertainty estimation more efficiently. We propose an efficient method for uncertainty estimation in DNNs achieving high accuracy. We simulate the notion of multi-task learning on single-task problems by producing parallel predictions from similar models differing by their loss. This multi-loss approach allows one-phase training for single-task learning with uncertainty estimation. We keep our inference time relatively low by leveraging the advantage proposed by the Deep-Sub-Ensembles method. The novelty of this work resides in the proposed accurate variational inference with a simple and convenient training procedure, while remaining competitive in terms of computational time. We conduct experiments on SVHN, CIFAR10, CIFAR100 as well as Image-Net using different architectures. Our results show improved accuracy on the classification task and competitive results on several uncertainty measures.

研究动机与目标

• 解决自动驾驶和医学诊断等安全关键型深度学习应用中对可靠不确定性估计的需求。
• 克服贝叶斯方法的计算低效性以及现有非贝叶斯不确定性估计技术的高推理成本问题。
• 在不牺牲推理速度的前提下提升模型准确率与不确定性校准性能，尤其适用于实时系统。
• 通过损失特定的头优化实现多样化子集成的端到端训练，避免分离的训练阶段。
• 为深度集成和MC-dropout提供一种实用且可扩展的替代方案，在标准基准上实现具有竞争力的性能。

提出的方法

• 在共享特征提取器上训练多个子集成头，每个头使用不同的损失函数（如交叉熵、MSE、MAE）进行优化。
• 推理时仅需一次前向传播，利用不同损失优化头的预测多样性来估计不确定性。
• 通过将每个头视为权重后验分布的样本，应用变分推理原理，实现主体性不确定性估计。
• 通过重用共享主干网络，保持低推理成本，类似于深度子集成（DSE），同时通过损失驱动的头专业化增强多样性。
• 将不确定性估计集成到标准分类训练中，无需后处理建模或多次前向传播。
• 通过预测方差或Softmax输出的熵计算集成的不确定性，实现对分布内数据误预测的检测。

实验结果

研究问题

• RQ1 在共享特征上使用不同损失函数训练多个头，是否能在提升分类准确率的同时实现不确定性估计？
• RQ2 所提出的多损失子集成方法在不确定性校准方面是否优于MC-dropout和深度集成等现有非贝叶斯方法？
• RQ3 该方法是否能在提升模型准确率与不确定性估计性能的同时保持低推理时间？
• RQ4 不同损失函数所引发的多样性如何影响不确定性估计与模型鲁棒性？
• RQ5 从集成中导出的不确定性度量是否能有效检测即使在分布内数据上的误预测？

主要发现

• 所提方法在SVHN、CIFAR10、CIFAR100和ImageNet上均达到最先进准确率，优于MC-dropout与DSE在这些基准上的表现。
• 在CIFAR10上，该方法实现95.2%的测试准确率，期望校准误差（ECE）为0.113%，与最佳性能方法相当。
• 在使用Xception的ImageNet上，该方法实现82.3%的top-1准确率和0.129%的ECE，表明其在大规模数据集上的强大性能。
• 与先前工作相比，该方法降低了ECE，所有数据集上的ECE值均稳定低于5%，表明具有出色的校准性能。
• 集成的不确定性度量能有效区分正确与错误预测，支持基于阈值的模型误预测检测。
• 该方法保持了极低的推理成本——显著低于深度集成——同时实现了具有竞争力的不确定性估计与更高的准确率。