[论文解读] Are Bayesian neural networks intrinsically good at out-of-distribution detection?

Christian Henning, Francesco D’Angelo+1 more|arXiv (Cornell University)|Jul 26, 2021

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文挑战了贝叶斯神经网络（BNNs）在分布外（OOD）检测中固有优越性的假设。通过在无限宽网络中使用精确推断，以及在有限宽网络中使用哈密顿蒙特卡洛（HMC）方法，研究发现：常见架构在标准权重先验下诱导出的核函数——尤其是这些核函数——无法为OOD输入产生有意义的信念性不确定性，从而削弱了其作为OOD检测器的可靠性。

ABSTRACT

The need to avoid confident predictions on unfamiliar data has sparked interest in out-of-distribution (OOD) detection. It is widely assumed that Bayesian neural networks (BNN) are well suited for this task, as the endowed epistemic uncertainty should lead to disagreement in predictions on outliers. In this paper, we question this assumption and provide empirical evidence that proper Bayesian inference with common neural network architectures does not necessarily lead to good OOD detection. To circumvent the use of approximate inference, we start by studying the infinite-width case, where Bayesian inference can be exact considering the corresponding Gaussian process. Strikingly, the kernels induced under common architectural choices lead to uncertainties that do not reflect the underlying data generating process and are therefore unsuited for OOD detection. Finally, we study finite-width networks using HMC, and observe OOD behavior that is consistent with the infinite-width case. Overall, our study discloses fundamental problems when naively using BNNs for OOD detection and opens interesting avenues for future research.

研究动机与目标

• 探究贝叶斯神经网络（BNNs）是否通过信念性不确定性天然具备分布外（OOD）检测能力。
• 挑战广泛存在的假设，即BNNs由于不确定性建模而自然能够检测OOD输入。
• 分析在无限宽极限下，常见神经网络架构所诱导的核函数特性及其对OOD检测的影响。
• 使用有限宽网络中的精确推断（HMC）评估OOD性能，并与无限宽极限下的行为进行比较。
• 强调权重空间先验的关键作用，以及偶然性不确定性对预测熵的混淆影响。

提出的方法

• 本研究利用高斯过程（GP）等价性，分析全连接神经网络在无限宽极限下的行为，推导出由网络架构和权重先验所诱导的核函数。
• 研究标准架构（如ReLU、RBF）的核结构，表明其不确定性无法反映数据生成分布，尤其在OOD区域表现不佳。
• 论文采用哈密顿蒙特卡洛（HMC）方法，在有限宽网络中实现精确的贝叶斯推断，以验证无限宽分析所得结论。
• 提出一种反向采样方法，将信念性不确定性用作能量函数，以生成类似分布内样本，并验证OOD检测的一致性。
• 通过差异度量（如MMD）定量比较生成样本与训练数据，评估不确定性是否与真实数据分布一致。
• 使用预测熵评估OOD检测性能，并识别其在高维设置下受偶然性不确定性混淆的问题。

实验结果

研究问题

• RQ1 具有标准架构和先验的贝叶斯神经网络是否能产生可靠识别分布外输入的信念性不确定性？
• RQ2 在无限宽极限下，常见神经网络架构所诱导的核函数如何影响OOD检测性能？
• RQ3 通过近似推断在有限宽BNN中观察到的OOD行为，是否与无限宽极限下的精确推断结果一致？
• RQ4 权重空间先验的选择在多大程度上影响BNN的OOD检测能力？
• RQ5 信念性不确定性能否用于生成分布内样本？这种方法是否可作为OOD检测的可靠验证手段？

主要发现

• 具有ReLU或RBF激活函数的标准全连接网络在无限宽极限下诱导的核函数无法反映真实数据分布，导致OOD检测性能差。
• 即使在通过HMC实现的精确贝叶斯推断下，具有标准架构的有限宽BNN仍表现出与无限宽情况一致的OOD检测行为，表明存在根本性的架构局限性。
• 某些网络参数下诱导的RBF核函数可支持良好的OOD检测，但仅当权重先验被仔细调整（如较大的$σ_{\mu}^2$）时成立，而这种情况在实践中并不常见。
• 预测熵常被用作不确定性的代理指标，但其受偶然性不确定性混淆，因此在BNN中不可靠用于OOD检测。
• 标准BNN中的信念性不确定性无法可靠近似底层数据密度$p({\bm{x}})$，从而削弱其作为分布内采样生成模型的适用性。
• 本研究表明，OOD检测性能对权重空间先验的选择极为敏感，不当的先验会导致误导性的不确定性估计。