[论文解读] Deep Ensemble Bayesian Active Learning : Addressing the Mode Collapse issue in Monte Carlo dropout via Ensembles

Remus Pop, Patric Fulop|arXiv (Cornell University)|Nov 9, 2018

Machine Learning and Algorithms参考文献 32被引用 25

一句话总结

本文提出深度集成贝叶斯主动学习（DEBAL），通过将蒙特卡洛丢弃与模型集成相结合，以克服贝叶斯主动学习中的模式崩溃问题。通过利用集成的统计鲁棒性，DEBAL 实现了更优的不确定性估计，相较于标准的 MC-dropout 方法，在 MNIST 和 CIFAR-10 上实现了更快的收敛速度和更高的分类性能。

ABSTRACT

In image classification tasks, the ability of deep CNNs to deal with complex image data has proven to be unrivalled. However, they require large amounts of labeled training data to reach their full potential. In specialised domains such as healthcare, labeled data can be difficult and expensive to obtain. Active Learning aims to alleviate this problem, by reducing the amount of labelled data needed for a specific task while delivering satisfactory performance. We propose DEBAL, a new active learning strategy designed for deep neural networks. This method improves upon the current state-of-the-art deep Bayesian active learning method, which suffers from the mode collapse problem. We correct for this deficiency by making use of the expressive power and statistical properties of model ensembles. Our proposed method manages to capture superior data uncertainty, which translates into improved classification performance. We demonstrate empirically that our ensemble method yields faster convergence of CNNs trained on the MNIST and CIFAR-10 datasets.

研究动机与目标

• 为解决基于蒙特卡洛丢弃的贝叶斯主动学习中的模式崩溃问题，该问题会导致预测过于自信且不确定性估计性能下降。
• 通过整合模型集成的表达能力与统计特性，改进深度主动学习中的不确定性量化。
• 通过实证验证，集成方法的不确定性估计可实现更快的收敛速度和更高的图像分类性能。
• 证明在主动学习设置中，随机集成（采用 MC-dropout）的不确定性校准优于确定性集成。
• 探究改进的不确定性表征是否可增强在安全关键应用中对分布偏移和对抗性样本的鲁棒性。

提出的方法

• 提出深度集成贝叶斯主动学习（DEBAL），一种结合 MC-dropout 与模型集成的混合方法，以提升深度主动学习中的不确定性估计。
• 使用蒙特卡洛丢弃从单个深度神经网络的后验分布中进行采样，同时训练多个独立模型构成集成，以捕捉多样的预测分布。
• 采用 BALD（基于分歧的贝叶斯主动学习）采集函数，根据预测不确定性及集成成员间的分歧选择最具信息量的样本。
• 应用确定性和随机集成两种变体，后者在每个集成成员中引入 MC-dropout 以提升不确定性校准效果。
• 使用期望准确率与实际准确率对比以及 Brier 评分来评估不确定性校准质量。
• 在 MNIST 和 CIFAR-10 上训练模型，采用批量采集的主动学习策略，并对比不同不确定性估计策略的性能表现。

实验结果

研究问题

• RQ1 MC-dropout 中的模式崩溃是否会导致贝叶斯主动学习中预测过于自信且性能下降？
• RQ2 模型集成是否能有效缓解基于 MC-dropout 的不确定性估计中的模式崩溃问题？
• RQ3 将 MC-dropout 与集成学习结合是否能产生更校准良好且更具意义的不确定性估计？
• RQ4 在收敛速度和最终准确率方面，DEBAL 与标准 MC-dropout 及确定性集成方法相比表现如何？
• RQ5 DEBAL 中改进的不确定性表征是否可增强对分布偏移和对抗性样本的鲁棒性？

主要发现

• DEBAL 通过利用集成预测的多样性显著减少了模式崩溃，从而产生更可靠的不确定性估计。
• 随机集成（含 MC-dropout）的不确定性校准优于确定性集成，表现为更低的 Brier 评分（0.0244 vs. 0.0297）。
• 在 MNIST 和 CIFAR-10 上，DEBAL 相较于标准 MC-dropout 主动学习实现了更快的收敛速度和更高的最终准确率。
• 不确定性直方图显示，随机集成产生的不确定性估计更具意义，随着不确定性增加，准确率呈一致下降趋势，尤其在未见数据（NotMNIST）上表现明显。
• 在由随机集成获取的数据上训练确定性集成，可获得性能提升，证实了随机性在不确定性估计中的优势。
• 结果表明，DEBAL 改进的不确定性表征可能有助于提升安全关键深度学习应用中的对抗鲁棒性。