[论文解读] A Simple Fix to Mahalanobis Distance for Improving Near-OOD Detection

Jie Ren, Stanislav Fort+4 more|arXiv (Cornell University)|Jun 16, 2021

Adversarial Robustness in Machine Learning参考文献 21被引用 71

一句话总结

本文分析 Mahalanobis 距离在 near-OOD 检测中的失败，并引入 Relative Mahalanobis Distance (RMD)，一种简单的背景调整修正，在无需额外训练的情况下提升在多种基准上的 near-OOD AUROC。

ABSTRACT

Mahalanobis distance (MD) is a simple and popular post-processing method for detecting out-of-distribution (OOD) inputs in neural networks. We analyze its failure modes for near-OOD detection and propose a simple fix called relative Mahalanobis distance (RMD) which improves performance and is more robust to hyperparameter choice. On a wide selection of challenging vision, language, and biology OOD benchmarks (CIFAR-100 vs CIFAR-10, CLINC OOD intent detection, Genomics OOD), we show that RMD meaningfully improves upon MD performance (by up to 15% AUROC on genomics OOD).

研究动机与目标

• 在不重新训练或不需要 OOD 数据的前提下，激发鲁棒的 near-OOD 检测。
• 识别标准 Mahalanobis 距离 (MD) 在 near-OOD 场景中的失效模式。
• 提出一个简单、无超参数的修正（RMD），提升 IND 与 near-OOD 数据的判别能力。
• 展示 RMD 在视觉、语言和基因组基准上的鲁棒性与性能。

提出的方法

• 评估 MD 在 OOD 检测中的表现，利用中间网络特征的类条件高斯拟合。
• 在所有训练特征上定义一个背景（与类无关）高斯拟合。
• 对每个类别 k 计算 MD_k(z') = (z' - mu_k)^T Sigma^{-1} (z' - mu_k)。
• 利用背景模型 N(mu_0, Sigma_0) 计算 MD_0(z')。
• 定义 Relative Mahalanobis Distance: RMD_k(z') = MD_k(z') - MD_0(z')。
• 将 C_RMD(x') = -min_k { RMD_k(z') } 作为 OOD 检测的置信分数；等价于似然比视角 max_k log p_k(z') - log p_0(z')。
• 表明 RMD 能减少来自非判别性背景特征的贡献，强调判别性最高维。

实验结果

研究问题

• RQ1 MD 基于的 OOD 检测是否可能因高维度的非判别特征而在 near-OOD 情况下不可靠？
• RQ2 在不额外训练或 OOD 数据的前提下，背景调整分数（RMD）是否能改善 on 分布数据与 near-OOD 数据之间的分离？
• RQ3 RMD 对超参数选择是否鲁棒，在多模态与预训练方案中是否有效？
• RQ4 在视觉、语言和基因组 near-OOD 基准上，RMD 与 MD 和 MSP 的比较如何？

主要发现

• RMD 在多项基准上持续提升 near-OOD AUROC，相较于 MD 不需要重新训练或 OOD 数据。
• 在 CIFAR-100 对 CIFAR-10 的场景中，MD AUROC 为 74.91%，而 RMD 为 81.01%（MSP 80.14%）。
• 在 CIFAR-10 对 CIFAR-100 的场景中，MD AUROC 为 88.49%，而 RMD 为 89.71%（MSP 89.27%）。
• 基因组 OOD 在使用预训练模型时，RMD 显著优于 MD（例如 MD 48.46% vs RMD 60.36% 结合 BERT 预训练；CLINC OOD：MD 75.48% vs RMD 91.98% 结合 BERT 预训练）。
• 在不微调的预训练骨干网络下，RMD 在 ViT、BiT、CLIP 与基于 BERT 的设置中均优于 MD；例如在 BiT 的 CIFAR-100 对 CIFAR-10 场景中：MD 81.37% vs RMD 84.60%。
• 经微调后，MD 的性能通常会提高，有时会缩小与 RMD 的差距（例如 ViT-B16 的 CIFAR 任务：MD 94.42% vs RMD 93.09%；CIFAR-10 对 CIFAR-100：MD 99.87% vs RMD 98.82%）。
• RMD 在训练过程中的稳定性高于 MD，在基因组 BERT 微调情境下 MD 可能下降；RMD 依然鲁棒而 MD 可能下滑。