[论文解读] BaCOUn: Bayesian Classifers with Out-of-Distribution Uncertainty
BaCOUn 提出了一种可扩展的贝叶斯框架，通过引入数据生成器以创建类似分布外（OOD）的边界点，增强了神经线性模型（NLMs）在分布外（OOD）数据上的可靠不确定性估计。通过训练归一化流以建模数据流形，并对特征应用贝叶斯推断，BaCOUn 实现了类似高斯过程（GP）的不确定性分解——即认知不确定性（epistemic）与偶然不确定性（aleatoric）——同时在合成数据集和真实世界数据集上的分布外检测与不确定性校准方面，优于标准 NLMs 和 BNNs。
Traditional training of deep classifiers yields overconfident models that are not reliable under dataset shift. We propose a Bayesian framework to obtain reliable uncertainty estimates for deep classifiers. Our approach consists of a plug-in "generator" used to augment the data with an additional class of points that lie on the boundary of the training data, followed by Bayesian inference on top of features that are trained to distinguish these "out-of-distribution" points.
研究动机与目标
- 为解决标准神经线性模型（NLMs）在缺乏可靠分布外（OOD）不确定性估计方面的缺陷，这些模型在数据稀疏区域无法提高认知不确定性。
- 开发一种可扩展的贝叶斯框架，作为贝叶斯神经网络（BNNs）和高斯过程（GPs）的替代方案，提供准确的不确定性分解：认知不确定性（OOD 与模型不确定性）与偶然不确定性。
- 使不确定性感知模型在医疗诊断等高风险领域中实现实际部署，其中模型置信度必须经过校准以支持人机协同决策。
- 证明通过修改训练目标以包含边界感知的数据增强，可在 NLMs 中有效建模分布外不确定性。
提出的方法
- 一个即插即用的生成器创建位于训练数据流形边界的合成分布外（OOD）点，模拟数据稀少区域。
- 在原始数据与生成的 OOD 点上训练归一化流，以建模底层数据密度与几何结构。
- 训练特征映射 φθ 以区分分布内与 OOD 点，从而提升表示的表达能力，以支持不确定性估计。
- 仅对最后一层权重 W 应用贝叶斯推断，使用先验 p(W)，从而实现后验的解析计算与预测不确定性估计。
- 后验预测分布计算为 p(y*|x*, D) = ∫ p(y*|x*, W) p(W|D, θ*) dW，实现不确定性感知的预测。
- 通过归一化流的对数概率得分对数据点进行排序，并移除得分最低的 k 个点，实现异常值检测。
实验结果
研究问题
- RQ1为何标准神经线性模型尽管具有贝叶斯形式，却无法在分布外输入中提高认知不确定性？
- RQ2能否设计一种可扩展的贝叶斯框架，提供与高斯过程相当的准确 OOD 不确定性估计，同时保持 NLM 的效率？
- RQ3如何修改训练目标，以促使决策边界包围高概率数据区域，从而实现更好的 OOD 泛化？
- RQ4归一化流能否在无需先验分布知识的情况下，有效检测并去除异常值？
主要发现
- 在合成数据集上，BaCOUn 的不确定性估计与高斯过程高度一致，尤其在提升 OOD 点的认知不确定性方面表现优异，而基线 NLMs 和 BNNs 显著低估了该值。
- 在真实世界数据集上，BaCOUn 在分布内数据上取得了更高的 AUC，并展现出更强的区分分布内与 OOD 测试样本的能力。
- 当应用于逐渐增加噪声的 MNIST 数字时，BaCOUn 正确地随着数据点远离数据流形而提高认知不确定性，而基线 NLMs 未表现出此类增长。
- 该方法成功识别并去除了具有人工扰动的合成数据中的异常值，如归一化流对数概率热力图与 k 点选择结果的可视化所示。
- BaCOUn 对旋转后的 MNIST 数字（如将 '9' 旋转后看起来像 '6'）保持了较低的不确定性，表明其对分布偏移具有鲁棒性。
- 该框架实现了可分离的不确定性分解：认知不确定性随 OOD 距离增加而上升，而偶然不确定性保持稳定，反映出模型对不确定性来源的正确理解。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。