[论文解读] AUTO: Adaptive Outlier Optimization for Test-Time OOD Detection

Puning Yang, Jian Liang+2 more|arXiv (Cornell University)|Mar 22, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出AUTO，一种测试时OOD检测方法，通过使用无标签在线测试数据自适应优化深度网络，以提升分布外（OOD）检测性能。通过结合一种内-外感知过滤器、一种动态ID记忆库以及一种语义一致性目标，AUTO有效缓解了灾难性遗忘问题，并在CIFAR-10、CIFAR-100和ImageNet基准上实现了最先进（SOTA）的性能，同时保持了分布内（ID）分类的准确性。

ABSTRACT

Out-of-distribution (OOD) detection aims to detect test samples that do not fall into any training in-distribution (ID) classes. Prior efforts focus on regularizing models with ID data only, largely underperforming counterparts that utilize auxiliary outliers. However, data safety and privacy make it infeasible to collect task-specific outliers in advance for different scenarios. Besides, using task-irrelevant outliers leads to inferior OOD detection performance. To address the above issue, we present a new setup called test-time OOD detection, which allows the deployed model to utilize real OOD data from the unlabeled data stream during testing. We propose Adaptive Outlier Optimization (AUTO) which allows for continuous adaptation of the OOD detector. Specifically, AUTO consists of three key components: 1) an in-out-aware filter to selectively annotate test samples with pseudo-ID and pseudo-OOD and ingeniously trigger the updating process while encountering each pseudo-OOD sample; 2) a dynamic-updated memory to overcome the catastrophic forgetting led by frequent parameter updates; 3) a prediction-aligning objective to calibrate the rough OOD objective during testing. Extensive experiments show that AUTO significantly improves OOD detection performance over state-of-the-art methods. Besides, evaluations on complicated scenarios (e.g. multi-OOD, time-series OOD) also conduct the superiority of AUTO.

研究动机与目标

• 解决现有OOD检测方法依赖静态辅助异常样本、存在分布差距且覆盖范围有限的局限性。
• 提出一种实用的测试时OOD检测范式，利用无标签在线测试数据，无需训练时修改。
• 通过在测试时优化过程中保持分布内性能，缓解灾难性遗忘，提升OOD检测能力。
• 开发一种方法，实现实时动态识别并学习来自推理过程中生成的伪ID与伪OOD样本。

提出的方法

• 在分布内数据上训练一种内-外感知过滤器，用于在测试时推理过程中区分伪ID与伪OOD样本。
• 动态ID记忆库为每类存储一个代表性样本，用于微调模型并维持分布内分类准确性。
• 利用伪OOD样本实时更新模型，优化过程受语义一致性目标引导，使预测与原始模型保持一致。
• 语义一致性目标通过最小化原始模型与更新后模型在ID样本上的预测差异，防止性能下降。
• 采用加权损失函数，结合OOD检测损失与语义一致性损失，通过超参数调优实现最佳性能平衡。
• 该框架在推理过程中迭代应用，实现对流入测试数据的持续自适应，同时控制优化频率。

实验结果

研究问题

• RQ1 使用无标签在线测试数据进行测试时优化，是否能显著提升OOD检测性能，同时不损害分布内分类准确性？
• RQ2 在使用测试时数据在线微调模型时，如何缓解灾难性遗忘问题？
• RQ3 在OOD检测中，实现高效且稳定测试时自适应的关键组件是什么？
• RQ4 超参数λ₂与φ的选择如何影响OOD检测与ID分类之间的平衡？
• RQ5 ID记忆库的大小与构成在多大程度上影响模型性能？

主要发现

• 在CIFAR-100上，使用ResNet-34时，AUTO的AUROC达到97.36，显著优于先前方法。
• 在Places365基准上，AUTO的FPR95为46.27，AUROC为89.67，展现出在复杂OOD数据上的强大泛化能力。
• 仅使用100个初始ID样本进行统计估计，可将计算成本降低99%，同时保持接近最优的性能。
• 消融实验表明，动态ID记忆库与语义一致性目标对维持ID准确率均至关重要。
• 每张OOD样本设置T=2次迭代时，性能与推理速度的权衡达到最佳，超过两次迭代后收益递减。
• 即使测试集中包含高达90%的OOD数据，该方法仍保持鲁棒性，展现出对不同数据分布的强大适应能力。