[论文解读] Dense Out-of-Distribution Detection by Robust Learning on Synthetic Negative Data

Matej Grcić, Petra Bevandić+2 more|arXiv (Cornell University)|Dec 23, 2021

Anomaly Detection Techniques and Applications被引用 7

一句话总结

该论文提出 NFlowJS，一种用于密集分布外（OOD）检测的新方法，通过归一化流在正常样本流形边界生成合成负样本。通过联合优化高正常样本似然性和利用 Jensen-Shannon 散度（JSD）实现对合成异常样本的均匀预测，该方法在道路驾驶和遥感基准测试中实现了最先进性能，且计算开销极低，优于基于 GAN 和基于 GMM 的合成数据方法。

ABSTRACT

Standard machine learning is unable to accommodate inputs which do not belong to the training distribution. The resulting models often give rise to confident incorrect predictions which may lead to devastating consequences. This problem is especially demanding in the context of dense prediction since input images may be only partially anomalous. Previous work has addressed dense out-of-distribution detection by discriminative training with respect to off-the-shelf negative datasets. However, real negative data are unlikely to cover all modes of the entire visual world. To this end, we extend this approach by generating synthetic negative patches along the border of the inlier manifold. We leverage a jointly trained normalizing flow due to coverage-oriented learning objective and the capability to generate samples at different resolutions. We detect anomalies according to a principled information-theoretic criterion which can be consistently applied through training and inference. The resulting models set the new state of the art on benchmarks for out-of-distribution detection in road-driving scenes and remote sensing imagery, in spite of minimal computational overhead.

研究动机与目标

• 解决深度学习模型在密集预测任务中面对分布外（OOD）输入时产生自信但错误预测的关键挑战。
• 克服真实负样本数据集的局限性，这些数据集往往无法覆盖所有 OOD 模式，尤其是在遥感或医学影像等专业领域。
• 开发一种无需依赖贝叶斯建模、图像重建或辅助真实负样本数据的鲁棒、原理清晰的 OOD 检测方法。
• 通过生成代表真实分布边界特征的合成负样本，提升 OOD 检测的泛化能力和覆盖范围。
• 在保持高检测性能的同时最小化计算开销，以支持自动驾驶系统中的实时部署。

提出的方法

• 通过训练归一化流采样生成合成负样本，该归一化流旨在最大化正常样本似然性，同时鼓励对生成样本的预测保持均匀。
• 联合训练目标结合了归一化流的最大似然损失和判别模型最终层 logits 的一致性损失，以促进对合成异常样本的均匀预测。
• 在训练和推理过程中均使用 Jensen-Shannon 散度（JSD）作为鲁棒的评分准则，替代手动设计的指标（如 max-softmax）。
• 在联合训练前对判别模型和归一化流进行预训练，以防止过拟合并提升泛化能力。
• 通过归一化流支持可变分辨率的生成，实现对不同尺寸 OOD 对象的真实感模拟。
• 对 softmax 输出应用温度缩放以提升 OOD 检测性能，最优温度值通过实验确定。

实验结果

研究问题

• RQ1 通过归一化流生成的合成负样本是否能在密集 OOD 检测中超越真实负样本数据集，特别是在真实 OOD 数据稀缺的情况下？
• RQ2 在训练和推理中使用 Jensen-Shannon 散度作为准则，是否能带来比手动设计评分函数更鲁棒、更一致的 OOD 检测性能？
• RQ3 独立预训练判别模型和生成模型是否能提升泛化能力并减少对合成异常样本的过拟合？
• RQ4 与 GAN 生成或 GMM 基于的合成数据相比，归一化流生成负样本的覆盖范围和分布质量在 OOD 检测中表现如何？
• RQ5 该方法在跨领域场景中的泛化能力如何，特别是在标准负样本数据不足的遥感领域？

主要发现

• NFlowJS 在 AnomalyTrack 和 ObstacleTrack 基准测试中达到最先进性能，AnomalyTrack-val 上的 AP 为 63.3 ± 0.6，FPR95 为 19.8 ± 0.8；ObstacleTrack-val 上的 AP 为 95.8 ± 0.2，FPR95 为 0.1 ± 0.0。
• 该方法显著优于基于 GAN 的合成数据（AnomalyTrack-val 上 AP 为 56.1，FPR95 为 26.1）和基于 GMM 的特征（AnomalyTrack-val 上 AP 为 56.7，FPR95 为 28.0），证明了归一化流在 OOD 数据生成方面的优越性。
• 与从随机初始化开始训练相比，对判别模型和归一化流进行预训练使 AnomalyTrack-val 上的 AP 提升了 6.4 个百分点。
• 采用 T=2 的温度缩放可提升 OOD 检测性能，将 ObstacleTrack-val 上的 FPR95 降低至 0.1 ± 0.0，表明分数分布的校准性更好。
• 该方法增强了 logits 空间中已知类与未知类之间的分离度，表明其具备更强的开放集泛化能力。
• 在遥感领域，即使未使用领域特定的负样本数据，该方法仍表现出强劲性能，证明其在低资源 OOD 检测场景下的实用性。