[论文解读] DropConnect Is Effective in Modeling Uncertainty of Bayesian Deep Networks

Aryan Mobiny, Hien Van Nguyen+3 more|arXiv (Cornell University)|Jun 7, 2019

Adversarial Robustness in Machine Learning被引用 10

一句话总结

本文提出 MC-DropConnect，一种计算高效的近似贝叶斯推理方法，通过在网络权重上应用伯努利分布的 Dropout，实现无需额外参数或训练成本的准确不确定性估计。该方法在图像分类和语义分割任务中显著提升了预测准确率与不确定性校准效果，优于 MC-Dropout，并为不确定性感知的深度学习设立了新基准。

ABSTRACT

Deep neural networks (DNNs) have achieved state-of-the-art performances in many important domains, including medical diagnosis, security, and autonomous driving. In these domains where safety is highly critical, an erroneous decision can result in serious consequences. While a perfect prediction accuracy is not always achievable, recent work on Bayesian deep networks shows that it is possible to know when DNNs are more likely to make mistakes. Knowing what DNNs do not know is desirable to increase the safety of deep learning technology in sensitive applications. Bayesian neural networks attempt to address this challenge. However, traditional approaches are computationally intractable and do not scale well to large, complex neural network architectures. In this paper, we develop a theoretical framework to approximate Bayesian inference for DNNs by imposing a Bernoulli distribution on the model weights. This method, called MC-DropConnect, gives us a tool to represent the model uncertainty with little change in the overall model structure or computational cost. We extensively validate the proposed algorithm on multiple network architectures and datasets for classification and semantic segmentation tasks. We also propose new metrics to quantify the uncertainty estimates. This enables an objective comparison between MC-DropConnect and prior approaches. Our empirical results demonstrate that the proposed framework yields significant improvement in both prediction accuracy and uncertainty estimation quality compared to the state of the art.

研究动机与目标

• 解决在医疗诊断和自动驾驶等安全关键型应用中，对深度神经网络模型不确定性估计的挑战。
• 开发一种可扩展且计算可行的贝叶斯神经网络近似方法，避免精确后验推断的不可行性。
• 提出一种方法，利用现有模型结构提取不确定性估计，而不增加模型复杂度或推理成本。
• 提出新的度量标准，以客观评估和比较不同贝叶斯深度学习框架中的不确定性估计性能。
• 证明不确定性感知的预测可通过识别不可靠预测来提升真实世界人工智能系统中的决策质量。

提出的方法

• 直接在深度神经网络的权重上应用伯努利分布以建模后验不确定性，从而通过蒙特卡洛采样实现近似贝叶斯推理。
• 通过对随机丢弃进行蒙特卡洛采样，估计预测分布并量化模型不确定性，而无需修改网络架构。
• 推导出在伯努利加权推理下的期望输出与方差的解析表达式，实现在推理过程中高效地量化不确定性。
• 将 MC-DropConnect 集成到 ResNet、ENet 和 V-Net 等最先进模型中，用于分类与语义分割任务。
• 在分割模型中，用标准的 Dropout 和 DropConnect 层替代空间 Dropout 层，以实现在三维体数据中的不确定性估计。
• 引入基于置信度的准确率度量，通过在不同置信度百分位数上评估像素级准确率，实现对不确定性质量的客观比较。

实验结果

研究问题

• RQ1 简单的基于权重的伯努利 Dropout 机制是否能以极低的计算开销有效近似深度网络中的贝叶斯后验推断？
• RQ2 MC-DropConnect 在不同任务与网络架构下，与 MC-Dropout 相比，在不确定性估计质量与预测准确率方面表现如何？
• RQ3 模型不确定性在多大程度上与预测正确性相关，尤其是在罕见类别或模糊输入的情况下？
• RQ4 能否利用 MC-DropConnect 得到的不确定性估计来通过过滤低置信度预测来提升系统可靠性？
• RQ5 不确定性图能否反映已知的模糊来源，如类别边界、罕见类别或视觉上相似的物体类别？

主要发现

• 在 CT-Organ 数据集上，MC-DropConnect 在模型置信度第 90 百分位数时，像素级分割准确率最高提升达 99.99%，表明不确定性与预测可靠性之间存在强烈相关性。
• 在 CityScapes 数据集上，MC-DropConnect 对最自信的 90% 预测实现了 99.32% 的准确率，证明了其不确定性估计具有高度校准性。
• 在所有评估的数据集与网络架构中，MC-DropConnect 在不确定性估计质量与预测准确率方面均优于 MC-Dropout。
• MC-DropConnect 对罕见类别（如 CamVid 中的电线杆、标志符号）以及模糊物体对（如自行车与行人）的不确定性估计始终更高，反映了真实世界中预测的困难程度。
• 模型在物体边界及标注模糊区域表现出更高的不确定性，证实不确定性图能捕捉到有意义的不确定性模式。
• 所提出的基于置信度的准确率度量表明，高置信度预测具有高度准确性，验证了不确定性估计作为模型置信度可靠度量的有效性。