[论文解读] Learning Confidence for Out-of-Distribution Detection in Neural Networks

Terrance DeVries, Graham W. Taylor|arXiv (Cornell University)|Feb 13, 2018

Adversarial Robustness in Machine Learning参考文献 5被引用 356

一句话总结

本文在神经网络中引入一个置信度估计分支，用于检测分布外输入，相较于基于 softmax 的方法和 ODIN 有所改进，并且不需要分布外标签。通过一个平衡任务性能与经校准的置信度的损失函数来缓解置信度不对齐。

ABSTRACT

Modern neural networks are very powerful predictive models, but they are often incapable of recognizing when their predictions may be wrong. Closely related to this is the task of out-of-distribution detection, where a network must determine whether or not an input is outside of the set on which it is expected to safely perform. To jointly address these issues, we propose a method of learning confidence estimates for neural networks that is simple to implement and produces intuitively interpretable outputs. We demonstrate that on the task of out-of-distribution detection, our technique surpasses recently proposed techniques which construct confidence based on the network's output distribution, without requiring any additional labels or access to out-of-distribution examples. Additionally, we address the problem of calibrating out-of-distribution detectors, where we demonstrate that misclassified in-distribution examples can be used as a proxy for out-of-distribution examples.

研究动机与目标

• 提出经过校准的置信度估计，以识别预测可能出错和输入处于分布外的情况。
• 提出一个可训练的置信度分支，作为标准分类器的补充。
• 展示基于置信度阈值的检测在不同架构和数据集上的分布外检测效果有所提升。
• 证明在分布内错误分类的样本可以在没有 OOD 数据的情况下校准分布外探测器。

提出的方法

• 在预测分支并行添加一个置信度估计分支，其输出标量 c，取值范围为 [0,1]。
• 通过 p' = c * p + (1 - c) * y 来修改预测概率，其中 y 是目标分布。
• 以任务损失 L_t（如负对数似然）加上置信度损失 L_c = -log(c) 的加权和来训练，权重为 lambda：L = L_t + lambda * L_c。
• 引入预算参数 beta，通过在每次更新后调整 lambda 来使 L_c 保持在接近 beta 的区间。
• 使用数据增强和保留错误分类样本（如 Cutout）以防止过拟合，并保留对学习置信度有用的错误分类样本。
• 通过输入预处理来提升分布内外样本之间的分离度，借助来自 L_c 梯度衍生的扰动输入，将输入推向更高的置信度。

实验结果

研究问题

• RQ1 在没有 OOD 标签的情况下，是否可以通过对每个输入学习的置信度估计来有意义地区分分布内和分布外数据？
• RQ2 在多种架构和 OOD 数据集上，基于置信度阈值的检测是否优于 softmax 阈值和 ODIN？
• RQ3 在无法获得 OOD 样本时，分布内的错误分类是否可用作校准 OOD 检测器的代理？
• RQ4 应如何设定训练超参数（lambda、beta）以在保持分类准确性的同时维持有用的置信度估计？

主要发现

• 置信度估计在大多数架构和数据集上能够比基于 softmax 的方法更好地区分分布内外样本。
• 在学习到的置信度上进行阈值化，并结合输入预处理（以及温度缩放），在大多数实验中优于 ODIN。
• 带置信度分支的模型训练在分布内的准确率与基线模型相当。
• 当真实的 OOD 数据不可用时，分布内错误分类样本可作为校准 OOD 检测器的实际代理。