[论文解读] POEM: Out-of-Distribution Detection with Posterior Sampling

Yifei Ming, Ying Fan+1 more|arXiv (Cornell University)|Jun 28, 2022

Anomaly Detection Techniques and Applications被引用 16

一句话总结

POEM 提出了一种基于后验采样的异常值挖掘框架，用于分布外（OOD）检测，通过选择靠近分布内（ID）与 OOD 数据决策边界的有信息量异常值，提升模型泛化能力。通过利用 Thompson 采样平衡探索与利用，POEM 实现了最先进性能，在 CIFAR-10 和 CIFAR-100 上相较于贪婪采样基线方法，分别将 FPR95 提高了 42.0% 和 24.2%。

ABSTRACT

Out-of-distribution (OOD) detection is indispensable for machine learning models deployed in the open world. Recently, the use of an auxiliary outlier dataset during training (also known as outlier exposure) has shown promising performance. As the sample space for potential OOD data can be prohibitively large, sampling informative outliers is essential. In this work, we propose a novel posterior sampling-based outlier mining framework, POEM, which facilitates efficient use of outlier data and promotes learning a compact decision boundary between ID and OOD data for improved detection. We show that POEM establishes state-of-the-art performance on common benchmarks. Compared to the current best method that uses a greedy sampling strategy, POEM improves the relative performance by 42.0% and 24.2% (FPR95) on CIFAR-10 and CIFAR-100, respectively. We further provide theoretical insights on the effectiveness of POEM for OOD detection.

研究动机与目标

• 为解决现有 OOD 检测方法因采样策略不佳，导致辅助异常值数据利用效率低下的问题。
• 通过学习分布内与 OOD 数据之间紧凑的决策边界，提升模型泛化能力。
• 将异常值挖掘形式化为一个序列决策问题，奖励函数基于与 ID-OOD 边界的距离。
• 开发一种可处理的、端到端可训练的框架，在异常值选择过程中平衡探索与利用。
• 为选择高边界得分异常值的采样效率提供理论依据。

提出的方法

• 将异常值挖掘形式化为上下文多臂赌博机问题，其中动作为异常值选择，奖励基于边界得分。
• 定义一种新颖的边界得分度量，为更接近 ID 与 OOD 数据决策边界的异常值分配更高得分。
• 应用 Thompson 采样（后验采样）在异常值选择过程中平衡探索与利用，实现在大型辅助异常值池中的自适应采样。
• 使用深度神经网络特征表示上的贝叶斯线性回归，近似难以计算的后验分布。
• 在训练过程中定期更新后验分布，以优化估计的决策边界并提升采样质量。
• 将框架与深度神经网络端到端集成，实现分类器与异常值选择策略的联合优化。

实验结果

研究问题

• RQ1 与随机或贪婪采样策略相比，基于后验采样的异常值挖掘是否能提升 OOD 检测性能？
• RQ2 选择高边界得分异常值如何影响决策边界的紧凑性与泛化能力？
• RQ3 高边界得分异常值在 OOD 检测中采样效率的理论依据是什么？
• RQ4 一种平衡探索与利用的贝叶斯框架是否能在 OOD 检测的异常值挖掘中超越贪婪方法？
• RQ5 POEM 的性能在多样化的 OOD 基准和数据集上如何扩展？

主要发现

• POEM 在标准 OOD 检测基准上实现了最先进性能，优于使用随机或贪婪采样方法的现有方法。
• 在 CIFAR-10 上，POEM 相较于当前最优的贪婪采样方法，将相对 FPR95 性能提升了 42.0%。
• 在 CIFAR-100 上，POEM 相较于同一贪婪基线，将相对 FPR95 性能提升了 24.2%。
• 该框架在保持与基线方法相当计算效率的同时，展现出强大的实证性能。
• 理论分析表明，选择高边界得分异常值可通过减少无效样本数量，提升采样效率，实现有效正则化。
• POEM 的后验采样机制能够更充分探索异常值空间，从而生成更鲁棒、更具泛化能力的决策边界。