[论文解读] Fine-grained Out-of-Distribution Detection with Mixup Outlier Exposure.

Jingyang Zhang, Nathan Inkawhich+2 more|arXiv (Cornell University)|Jun 7, 2021

Anomaly Detection Techniques and Applications被引用 11

一句话总结

本文提出了一种名为 Mixup Outlier Exposure（MixupOE）的新颖训练方法，通过结合 mixup 数据增强与基于邻域风险最小化的异常样本暴露，提升了细粒度分布外（OOD）检测的性能。该方法在五个新构建的细粒度 OOD 检测基准上持续展现出性能提升，为真实世界中的高分辨率 OOD 检测任务建立了更强的基线。

ABSTRACT

Enabling out-of-distribution (OOD) detection for DNNs is critical for their safe and reliable operation in the open world. Unfortunately, current works in both methodology and evaluation focus on rather contrived detection problems, and only consider a coarse level of granularity w.r.t.: 1) the in-distribution (ID) classes, and 2) the OOD data's closeness to the ID data. We posit that such settings may be poor approximations of many real-world tasks that are naturally fine-grained (e.g., bird species classification), and thus the reported detection abilities may be over-estimates. Differently, in this work we make granularity a top priority and focus on fine-grained OOD detection. We start by carefully constructing five novel fine-grained test environments in which existing methods are shown to have difficulties. We then propose a new DNN training algorithm, Mixup Outlier Exposure (MixupOE), which leverages an outlier distribution and principles from vicinal risk minimization. Finally, we perform extensive experiments and analyses in our custom test environments and demonstrate that MixupOE can consistently improve fine-grained detection performance, establishing a strong baseline in these more realistic and challenging OOD detection settings.

研究动机与目标

• 弥合现有 OOD 检测方法在细粒度、不切实际的检测设置上的空白，这些设置不适用于细粒度真实世界任务。
• 通过构建五个新颖的细粒度 OOD 测试环境，建立更真实的评估框架，以更好地反映实际应用中的挑战。
• 提出一种新型训练算法 MixupOE，以增强深度神经网络在细粒度分类场景中检测 OOD 样本的能力。
• 通过大量实验和消融研究，建立一个强大且可复现的细粒度 OOD 检测基线。
• 证明当前 SOTA 方法在细粒度 OOD 检测任务中表现不佳，凸显了在训练和评估方法上进行范式转变的必要性。

提出的方法

• 设计五个新的细粒度 OOD 检测基准，涉及自然的、语义上相近的类别（例如鸟类物种），以模拟真实世界的开放世界场景。
• 提出 MixupOE，一种结合 mixup 增强与使用多样化非 ID 异常样本分布的异常样本暴露的训练流程。
• 利用邻域风险最小化的原则，促使模型在 ID 流形附近的 OOD 样本上具备良好的泛化能力。
• 通过联合使用 ID 数据、mixup 生成的插值样本以及合成的异常样本训练 DNN，以改善决策边界的分离。
• 使用多样化异常样本分布（如 ImageNet-300）来模拟语义上接近但不完全相同的 OOD 数据。
• 端到端优化模型，对 ID 数据使用交叉熵损失，对 OOD 样本使用一种改进的 OOD 损失，以鼓励模型对 OOD 样本输出高置信度。

实验结果

研究问题

• RQ1 当前 SOTA 的 OOD 检测方法在具有语义相似类别的细粒度分类任务上表现如何？
• RQ2 一种结合 mixup 与异常样本暴露的训练策略是否能提升细粒度场景下的 OOD 检测性能？
• RQ3 异常样本分布的选择如何影响细粒度场景下 OOD 检测的泛化能力和鲁棒性？
• RQ4 由于粗粒度假设，现有评估协议在多大程度上高估了 OOD 检测的性能？
• RQ5 MixupOE 是否能作为细粒度 OOD 检测在多种基准环境下的强大且可泛化的基线？

主要发现

• 现有 OOD 检测方法在新构建的细粒度基准上表现出显著性能下降，表明先前研究的评估存在过度乐观的问题。
• MixupOE 在所有五个细粒度测试环境中均一致地提升了 OOD 检测性能，优于基线方法，包括标准异常样本暴露和仅使用 mixup 的训练。
• 将 mixup 与异常样本暴露相结合，能更有效地学习决策边界，尤其在 ID 与 OOD 样本语义接近的区域。
• 异常样本分布的选择对性能有可测量的影响，更丰富的分布能带来更好的 OOD 泛化能力。
• 消融研究证实，MixupOE 中的 mixup 和异常样本暴露两个组件均对性能提升有显著贡献，且二者结合具有协同效应。
• MixupOE 建立了细粒度 OOD 检测的新强基线，在多样且真实的测试场景中展现出鲁棒性和泛化能力。