[论文解读] Contrastive Training for Improved Out-of-Distribution Detection

Jim Winkens, Rudy Bunel+11 more|arXiv (Cornell University)|Jul 10, 2020

Anomaly Detection Techniques and Applications参考文献 39被引用 52

一句话总结

这篇论文使用对比学习来提升 OOD 检测，在不需要显式 OOD 示例的情况下，在若干基准上达到最先进 AUROC，并引入 Confusion Log Probability (CLP) 来量化任务难度。

ABSTRACT

Reliable detection of out-of-distribution (OOD) inputs is increasingly understood to be a precondition for deployment of machine learning systems. This paper proposes and investigates the use of contrastive training to boost OOD detection performance. Unlike leading methods for OOD detection, our approach does not require access to examples labeled explicitly as OOD, which can be difficult to collect in practice. We show in extensive experiments that contrastive training significantly helps OOD detection performance on a number of common benchmarks. By introducing and employing the Confusion Log Probability (CLP) score, which quantifies the difficulty of the OOD detection task by capturing the similarity of inlier and outlier datasets, we show that our method especially improves performance in the `near OOD' classes -- a particularly challenging setting for previous methods.

研究动机与目标

• 通过仅从分布内数据学习更丰富、任务无关的表示，推动现实部署的鲁棒 OOD 检测。
• 利用对比学习塑造特征空间，保持对分布内及潜在 OOD 变异的敏感性。
• 在近/远 OOD 任务中评估该方法，并用新的 CLP 指标量化任务难度。
• 在训练阶段不需要 OOD 标签的情况下，展示对现有方法的实际性能提升。

提出的方法

• 采用与 SimCLR 风格的编码器，配备两个投影头：分类头 g_φ 和对比嵌入头 h_ν。
• 使用两阶段目标训练：先仅用对比损失 L_con 学习丰富的表示；其次，联合损失 L_con + λ L_class 来完成判别。
• 通过对 penultimate 激活 z 拟合类别条件高斯密度来计算 OOD 分数 s(x)，然后按照式（2）在各类别中取最大值。
• 使用标签平滑以促使类别内激活簇更紧凑，从而改善 OOD 检测的密度估计。
• 使用 AUROC 和 OOD 排名评估近、远和混合 OOD 区间的 OOD 性能，并引入 Confusion Log Probability (CLP) 来量化任务难度。

实验结果

研究问题

• RQ1 对比学习在分布内数据上是否能在不直接监督 OOD 的情况下改善 OOD 检测？
• RQ2 与基线相比，所提方法在近、远 OOD 区间的表现如何？
• RQ3 是否存在一个鲁棒的 CLP 指标来表征 OOD 任务的难度并与检测性能相关？
• RQ4 将对比学习与标签平滑结合对激活空间分离和 OOD 评分有何影响？

主要发现

• 所提出的方法在近 OOD 和远 OOD 设置下提升了 OOD 检测，在近 OOD CIFAR-10 与 CIFAR-100 的 AUROC 为 78.3，在近/远混合 OOD 的 CIFAR-10 与 CIFAR-100 的 AUROC 为 92.9。
• 在远 OOD（CIFAR-10 入，SVHN 出）时 AUROC 达到 99.5，与不使用带标记的 OOD 数据进行训练或调优的最先进方法相竞争。
• 三组数据对的平均 AUROC 达到 90.2，超越需要在训练时使用异常数据的先前方法。
• 消融实验表明，将标签平滑与对比训练结合可获得最佳的激活空间塑形，以及跨运行的 OOD 排名波动最低。
• CLP 能有效体现 OOD 任务的难度，近 OOD 情景显示更高的 CLP，因此检测任务更具挑战性。
• 此方法不依赖显式离群数据，并可在高容量网络上扩展，符合现实中的未标记数据设置。