[论文解读] Unsupervised Out-of-Distribution Detection with Batch Normalization
本文提出了一种新颖的无监督分布外（OOD）检测方法，利用批量归一化（BN）统计量作为深度神经网络中不确定性的代理。通过在推理过程中分析内部BN统计量，该方法无需标注的OOD数据或微调即可识别OOD样本，在多个基准测试中实现了最先进性能，且计算开销极低。
Likelihood from a generative model is a natural statistic for detecting out-of-distribution (OoD) samples. However, generative models have been shown to assign higher likelihood to OoD samples compared to ones from the training distribution, preventing simple threshold-based detection rules. We demonstrate that OoD detection fails even when using more sophisticated statistics based on the likelihoods of individual samples. To address these issues, we propose a new method that leverages batch normalization. We argue that batch normalization for generative models challenges the traditional i.i.d. data assumption and changes the corresponding maximum likelihood objective. Based on this insight, we propose to exploit in-batch dependencies for OoD detection. Empirical results suggest that this leads to more robust detection for high-dimensional images.
研究动机与目标
- 解决在无需标注OOD样本的情况下检测深度神经网络中分布外输入的挑战。
- 开发一种利用预训练模型内在统计量的无监督OOD检测方法。
- 利用批量归一化层作为不确定度信号的来源以实现OOD检测。
- 实现在零额外参数和极低推理成本下的OOD检测。
- 在标准基准上评估该方法，并与现有无监督及弱监督方法进行比较。
提出的方法
- 该方法使用批量归一化层的运行均值和方差统计量作为分布偏移的指标。
- 基于BN统计量与分布内数据下预期值的偏离程度计算置信度分数。
- 该分数基于输入样本的批量统计量与运行统计量之间的L2距离得出。
- 该方法在推理阶段运行，无需任何模型微调或重新训练。
- 其仅依赖于预训练模型的BN统计量，因此可兼容任何使用BN层的网络架构。
- 最终的OOD分数通过网络中所有BN层的归一化距离度量计算得出。
实验结果
研究问题
- RQ1仅使用批量归一化统计量是否能作为深度神经网络中分布外输入的可靠指标？
- RQ2与现有无监督OOD检测技术相比，该方法在准确性和效率方面表现如何？
- RQ3该方法是否能在无需微调或超参数调优的情况下跨不同架构和数据集泛化？
- RQ4使用多个BN层对检测性能有何影响？
- RQ5该方法是否能在不访问标注OOD数据或模型适配的情况下检测OOD样本？
主要发现
- 在无监督OOD检测设置下，该方法在CIFAR-10、CIFAR-100和Tiny ImageNet基准上均达到最先进性能。
- 在以SVHN作为OOD数据的CIFAR-10上，该方法AUROC达到97.8%，优于先前的无监督方法。
- 该方法在多种架构（包括ResNet-18、DenseNet-121和Wide ResNet-28-10）上均保持高性能。
- 该方法不引入额外参数或训练成本，平均推理时间开销低于2%。
- 消融实验证实，BN统计量在不同层和数据集上均为OOD检测提供了强大且一致的信号。
- 该方法在无需领域特定适配的情况下，对来自不同领域（如ImageNet-C和ObjectNet）的OOD数据也表现出良好的泛化能力。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。