[论文解读] Diversified Outlier Exposure for Out-of-Distribution Detection via Informative Extrapolation

Jianing Zhu, Yu Geng+5 more|arXiv (Cornell University)|Oct 21, 2023

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出了一种名为多样化异常暴露（DivOE）的新框架，通过多步优化和信息性外推，生成更具信息量的异常样本，从而提升分布外（OOD）检测性能。通过将辅助异常分布扩展至原始数据之外，DivOE增强了OOD泛化能力，在CIFAR-10、CIFAR-100和ImageNet等多个基准上实现了更低FPR95的最先进性能。

ABSTRACT

Out-of-distribution (OOD) detection is important for deploying reliable machine learning models on real-world applications. Recent advances in outlier exposure have shown promising results on OOD detection via fine-tuning model with informatively sampled auxiliary outliers. However, previous methods assume that the collected outliers can be sufficiently large and representative to cover the boundary between ID and OOD data, which might be impractical and challenging. In this work, we propose a novel framework, namely, Diversified Outlier Exposure (DivOE), for effective OOD detection via informative extrapolation based on the given auxiliary outliers. Specifically, DivOE introduces a new learning objective, which diversifies the auxiliary distribution by explicitly synthesizing more informative outliers for extrapolation during training. It leverages a multi-step optimization method to generate novel outliers beyond the original ones, which is compatible with many variants of outlier exposure. Extensive experiments and analyses have been conducted to characterize and demonstrate the effectiveness of the proposed DivOE. The code is publicly available at: https://github.com/tmlr-group/DivOE.

研究动机与目标

• 解决现有异常暴露（OE）方法依赖有限且非代表性辅助异常样本的问题，这些样本可能无法覆盖分布内与OOD数据之间的边界。
• 探究当给定的辅助异常样本信息量不足或多样性不够时，如何提升OOD检测性能。
• 开发一种框架，通过生成更具信息量的外推异常样本，主动扩展代理OOD分布，以弥合分布差距。
• 确保与多种OE变体和主干网络架构的兼容性，以最大化实际可用性。
• 在多样化的OOD检测基准上展示一致的性能提升，特别是在辅助异常样本数据量较少的情况下。

提出的方法

• 提出一种新的学习目标，显式最大化原始异常样本与合成外推异常样本之间的差异，以促进多样性与信息量。
• 实施多步优化过程，通过在高影响力方向上扰动原始辅助异常样本，利用模型不确定性与梯度信号生成新型异常样本。
• 通过标准OE微调将外推异常样本整合到训练过程中，使模型能够学习更广泛的OOD边界。
• 结合混剪（mixup）风格的数据增强技术，进一步提升泛化能力与鲁棒性。
• 利用基于能量的评分与损失差异分析，验证生成异常样本的信息量，确保其位于关键决策区域。
• 设计框架以兼容多种OOD检测方法（如Energy、NTOM、POEM、OE）和主干网络。

实验结果

研究问题

• RQ1 当辅助异常样本代表性不足或在决策边界附近稀疏时，能否提升OOD检测性能？
• RQ2 如何系统性地生成更具信息量的异常样本，使其更好地泛化到未见的OOD输入？
• RQ3 将外推扩展至原始辅助异常样本分布之外，是否能形成更广泛且更鲁棒的OOD鲁棒决策边界？
• RQ4 在不同数量的辅助异常样本下，DivOE与标准OE及其他SOTA方法的性能相比如何？
• RQ5 不同扰动幅度（ε）对生成异常样本的质量与信息量有何影响？

主要发现

• 在CIFAR-10和CIFAR-100基准上，DivOE实现了最先进性能，当与OE和mixup结合时，平均FPR95降低至4.97%。
• 在CIFAR-100上，DivOE+Mixup实现FPR95为4.97%、AUROC为76.06%，优于标准OE及其他基线方法。
• 仅使用1,000个辅助异常样本时，DivOE仍保持强性能（FPR95 ≈ 48.35%），优于标准OE（FPR95 ≈ 54.31%），表明在低数据环境下具有鲁棒性。
• 原始异常样本与外推异常样本之间的OOD损失差异随ε增大而增加，在ε=0.2时达到峰值20.29，在ε=0.5时升至24.16，证实模型从信息量越来越高的样本中学习。
• 可视化结果表明，外推异常样本覆盖了特征空间中此前未探索的区域，尤其是在决策边界附近。
• 该方法在多种OOD检测头（如Energy、NTOM、POEM）上均表现有效，表明其具备广泛的兼容性与泛化能力。