[论文解读] Loss-Calibrated Approximate Inference in Bayesian Neural Networks

Adam D. Cobb, Stephen Roberts+1 more|arXiv (Cornell University)|May 10, 2018

Anomaly Detection Techniques and Applications参考文献 11被引用 32

一句话总结

本文提出了一种损失校准的证据下界（evidence lower bound）用于贝叶斯神经网络，通过贝叶斯决策理论引入任务特定的效用函数，从而在误差成本不对称的任务中提升预测质量。通过优化依赖效用的目标函数，该方法实现了更高的期望效用，并在语义分割中对高风险类别（如行人和车辆）表现出更优性能，优于标准交叉熵和加权交叉熵基线方法。

ABSTRACT

Current approaches in approximate inference for Bayesian neural networks minimise the Kullback-Leibler divergence to approximate the true posterior over the weights. However, this approximation is without knowledge of the final application, and therefore cannot guarantee optimal predictions for a given task. To make more suitable task-specific approximations, we introduce a new loss-calibrated evidence lower bound for Bayesian neural networks in the context of supervised learning, informed by Bayesian decision theory. By introducing a lower bound that depends on a utility function, we ensure that our approximation achieves higher utility than traditional methods for applications that have asymmetric utility functions. Furthermore, in using dropout inference, we highlight that our new objective is identical to that of standard dropout neural networks, with an additional utility-dependent penalty term. We demonstrate our new loss-calibrated model with an illustrative medical example and a restricted model capacity experiment, and highlight failure modes of the comparable weighted cross entropy approach. Lastly, we demonstrate the scalability of our method to real world applications with per-pixel semantic segmentation on an autonomous driving data set.

研究动机与目标

• 为解决标准近似推理在贝叶斯神经网络中的局限性，即忽略任务特定效用，导致在高成本错误类别上表现欠佳。
• 开发一种基于贝叶斯决策理论的系统性方法，将效用最大化融入近似推理过程，确保预测结果最大化期望效用。
• 证明效用感知训练可提升语义分割中关键类别的性能，同时不降低整体准确率。
• 展示该方法在真实世界大规模应用（如自动驾驶数据集的像素级语义分割）中的可扩展性。

提出的方法

• 提出一种依赖效用函数的新证据下界（ELBO），使近似过程更具任务特异性，而非通用性。
• 推导出一种损失校准的目标函数，训练期间优化期望效用，而非最小化后验分布的KL散度。
• 采用Dropout推理实现该方法，表明新目标函数等价于标准Dropout，但增加了一个依赖效用的惩罚项。
• 应用贝叶斯决策理论，通过加权预测分布积分选择最优预测结果。
• 使用效用图可视化每个像素的期望收益，证实高收益类别（如行人）的边界检测更清晰。
• 通过合成实验和在CamVid数据集上的真实世界语义分割实验（采用SegNet-Basic架构）验证该方法。

实验结果

研究问题

• RQ1 能否通过引入任务特定的效用函数而非依赖通用散度最小化，改进贝叶斯神经网络中的近似推理？
• RQ2 依赖效用的ELBO如何影响语义分割中高风险类别（如行人和车辆）的性能表现？
• RQ3 与标准交叉熵和加权交叉熵训练相比，所提方法在关键类别上的期望效用和准确率是否更优？
• RQ4 损失校准方法能否扩展至真实世界大规模深度学习应用（如自动驾驶分割任务）？
• RQ5 当面对噪声标签或类别不平衡时，无效用感知方法（如加权交叉熵）的失效模式是什么？

主要发现

• 损失校准的贝叶斯神经网络在测试集上达到0.685的期望效用，显著高于标准模型（0.619）和加权交叉熵模型（0.633）。
• 在高收益类别（如行人和车辆）上，损失校准模型的IOU分别达到0.13和0.39，优于标准模型（0.06和0.28）与加权模型（0.09和0.31）。
• 在低收益类别（如道路、人行道、树木）上，模型仍保持具有竞争力的IOU，表明对非关键类别的性能无下降。
• 效用图显示，高收益对象（如行人）的边界更清晰、更精确，证实了定位能力的提升。
• 该方法在真实世界应用中表现出良好的可扩展性，在模型容量受限的情况下，实现了像素级语义分割任务的最先进性能。
• 由于损失（噪声模型）与效用（错误后果）之间存在明确分离，该方法避免了加权交叉熵在标签噪声情况下的过拟合问题。