[论文解读] Bayesian OOD detection with aleatoric uncertainty and outlier exposure

Xi Wang, Laurence Aitchison|arXiv (Cornell University)|Feb 24, 2021

Adversarial Robustness in Machine Learning参考文献 39被引用 4

一句话总结

本文提出了一种基于贝叶斯框架的分布外（OOD）检测方法，通过整合偶然性不确定性（aleatoric uncertainty）与异常值暴露（OE），实现原理严谨的OOD检测。该方法将数据集构建过程建模为共识过程，其中模糊、定义不清的类别标签图像（UCL点）导致标注者意见不一致，从而表征偶然性不确定性；该不确定性被形式化为OOD点的概率似然，支持基于OE的贝叶斯推断。该方法在OOD检测基准上优于标准贝叶斯方法与仅使用偶然性不确定性的方法。

ABSTRACT

Typical Bayesian approaches to OOD detection use epistemic uncertainty. Surprisingly from the Bayesian perspective, there are a number of methods that successfully use aleatoric uncertainty to detect OOD points (e.g. Hendryks et al. 2018). In addition, it is difficult to use outlier exposure to improve a Bayesian OOD detection model, as it is not clear whether it is possible or desirable to increase posterior (epistemic) uncertainty at outlier points. We show that a generative model of data curation provides a principled account of aleatoric uncertainty for OOD detection. In particular, aleatoric uncertainty signals a specific type of OOD point: one without a well-defined class-label, and our model of data curation gives a likelihood for these points, giving us a mechanism for conditioning on outlier points and thus performing principled Bayesian outlier exposure. Our principled Bayesian approach, combining aleatoric and epistemic uncertainty with outlier exposure performs better than methods using aleatoric or epistemic alone.

研究动机与目标

• 解决现有OOD检测中缺乏对异常值暴露（OE）的原理性贝叶斯整合问题。
• 利用偶然性不确定性，为无明确类别标签的分布外点（UCL点）建立正式的似然函数。
• 在单一贝叶斯框架内统一整合认知不确定性、偶然性不确定性与OE。
• 通过建模数据集构建过程中人类标注者的一致性，提升OOD检测性能。

提出的方法

• 将数据集构建过程建模为多个标注者之间的共识过程，其中意见一致表示类别标签定义明确，意见不一致则表示标签不明确（即UCL点）。
• 将标注者响应的不一致性形式化为偶然性不确定性，该不确定性与模型的预测概率相关联。
• 基于共识失败的概率，推导出UCL点的似然函数，从而实现基于异常值数据的原理性贝叶斯推断。
• 将该似然函数整合进贝叶斯神经网络（BNN）训练中，使异常值暴露可作为似然项处理。
• 利用生成模型对无明确标签的OOD点进行条件建模，实现无需人为设计目标的贝叶斯OE。
• 结合BNN带来的认知不确定性与由共识失败引发的偶然性不确定性，以提升OOD检测性能。

实验结果

研究问题

• RQ1 偶然性不确定性是否可在贝叶斯框架中被正式证明为OOD检测的有效信号？
• RQ2 如何通过原理性似然函数将异常值暴露整合进贝叶斯OOD检测？
• RQ3 数据集构建的生成模型能否解释为何偶然性不确定性可检测特定类型的OOD数据？
• RQ4 结合偶然性不确定性、认知不确定性与贝叶斯异常值暴露是否能提升OOD检测性能？

主要发现

• 所提方法在无异常值暴露的基线贝叶斯方法对比中，取得了更优的AUROC与FPR95指标。
• 其性能优于标准基于偶然性不确定性的方法，后者虽使用异常值暴露但缺乏原理性似然（如Hendrycks et al., 2018）。
• 通过UCL点的似然函数实现异常值暴露的整合，显著提升了OOD检测性能。
• 偶然性不确定性能有效标识无明确类别标签的OOD点，该结论得到基于共识的生成模型验证。
• 该方法为OE提供了正式的贝叶斯解释，解决了现有方法中人为设计OE目标的模糊性问题。