[论文解读] Feed Two Birds with One Scone: Exploiting Wild Data for Both Out-of-Distribution Generalization and Detection

Haoyue Bai, Gregory Canal+4 more|arXiv (Cornell University)|Jun 15, 2023

Anomaly Detection Techniques and Applications被引用 7

一句话总结

tldr: Scone 提出一个基于边际的框架，使用包含协变量漂移样本和语义 OOD 样本的未标记野生数据共同提升 OOD 泛化和 OOD 检测。它在 CIFAR-10/ MNIST 风格的设置中优于基线，包括 WOODS。

ABSTRACT

Modern machine learning models deployed in the wild can encounter both covariate and semantic shifts, giving rise to the problems of out-of-distribution (OOD) generalization and OOD detection respectively. While both problems have received significant research attention lately, they have been pursued independently. This may not be surprising, since the two tasks have seemingly conflicting goals. This paper provides a new unified approach that is capable of simultaneously generalizing to covariate shifts while robustly detecting semantic shifts. We propose a margin-based learning framework that exploits freely available unlabeled data in the wild that captures the environmental test-time OOD distributions under both covariate and semantic shifts. We show both empirically and theoretically that the proposed margin constraint is the key to achieving both OOD generalization and detection. Extensive experiments show the superiority of our framework, outperforming competitive baselines that specialize in either OOD generalization or OOD detection. Code is publicly available at https://github.com/deeplearning-wisc/scone.

研究动机与目标

• 在开放世界部署中，激励统一框架来同时处理协变量漂移（OOD 泛化）和语义漂移（OOD 检测）的需求。
• 利用混合有分布内样本、协变量 OOD 样本和语义 OOD 样本的未标记野生数据来训练一个鲁棒的分类器和一个可靠的检测器。
• 开发一个基于边际的能量框架，明确对 ID 数据施加边际以提升对协变量漂移的泛化能力，同时保持对语义 OOD 的检测能力。

提出的方法

• 将野生数据建模为三路混合：P_wild = (1-π_c-π_s) P_in + π_c P_out^covariate + π_s P_out^semantic。
• 训练一个共享参数的能量基分类器 f_θ 和 OOD 检测器 g_θ，以在利用未标记野生样本的同时最大化 ID 准确率和 OOD 检测。
• 引入能量边际 η，对 ID 样本施加 E_θ(x) ≤ η 的约束，并将 ID 上的违反设定为 α，通过增强拉格朗日优化求解。
• 用平滑替代（基于 Sigmoid 的损失）替代 0/1 损失，以在神经网络中实现可行的优化。
• 在先前的 WOODS 基础上推广，通过强制负能量边际（η < 0）来推动决策边界，从而提升对协变量 OOD 的泛化。
• 提供理论见解，若在特征空间中协变量漂移点接近 ID 点，适当的 η 将导致对协变量 OOD 数据的正确分类。

实验结果

研究问题

• RQ1 research_questionsBrazil?

主要发现

Method	OOD Accuracy (MNIST-C)	ID Accuracy (MNIST)	FPR95	AUROC
WOODS (Katz-Samuels et al., 2022)	88.10%	97.88%	0.194%	99.88%
Ours	96.51%	97.79%	0.017%	99.99%

• Scone 在 OOD 泛化方面取得显著提升，将 CIFAR-10 的 OOD 准确率从 52.76%（WOODS）提升至 84.69%。
• Scone 维持具有竞争力的 ID 准确率，与基线相比损失最小。
• Scone 在 OOD 检测方面表现出色，在多种设定下超越事后检测器（如 SVHN 语义 OOD 情况）。
• 能量边际 η 起关键作用；越负的 η 能带来越大的 OOD 准确率提升，同时检测指标的权衡可控。
• 与 WOODS 相比，随着野生数据中协变量漂移比例 π_c 增加，Scone 仍然具有鲁棒性。
• 在 MNIST 风格的实验中，Scone 在给定设置下达到 96.51% 的 OOD 准确率和 99.99% 的 AUROC，超过 WOODS。
• 总体而言，Scone 在多项基准上优于仅专注于 OOD 泛化或 OOD 检测的方法。