[论文解读] Know Your Limits: Monotonicity & Softmax Make Neural Classifiers Overconfident on OOD Data.

Dennis Ulmer, Giovanni Cinà|arXiv (Cornell University)|Dec 9, 2020

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文表明，特征表示的单调性以及使用 softmax 输出概率会天然导致神经网络分类器在分布外（OOD）数据上产生过度自信的预测，即使使用了标准的不确定性估计技术也是如此。理论分析证明，在弱单调性假设下，由于 softmax 和激活函数的饱和特性，此类模型无法可靠检测 OOD 样本。

ABSTRACT

A crucial requirement for reliable deployment of deep learning models for safety-critical applications is the ability to identify out-of-distribution (OOD) data points, samples which differ from the training data and on which a model might underperform. Previous work has attempted to tackle this problem using uncertainty estimation techniques. However, there is empirical evidence that a large family of these techniques do not detect OOD reliably in classification tasks. This paper puts forward a theoretical explanation for said experimental findings. We prove that such techniques are not able to reliably identify OOD samples in a classification setting, provided the models satisfy weak assumptions about the monotonicity of feature values and resulting class probabilities. This result stems from the interplay between the saturating nature of activation functions like sigmoid or softmax, coupled with the most widely-used uncertainty metrics.

研究动机与目标

• 研究为何不确定性估计技术在深度神经网络分类器中无法检测 OOD 样本。
• 识别在面对 OOD 输入时，神经网络分类器产生过度自信的根本原因。
• 正式分析特征表示的单调性以及 softmax 输出饱和在破坏 OOD 检测中的作用。
• 从理论上证明，在弱单调性假设下，通过不确定性估计实现 OOD 检测在根本上存在限制。

提出的方法

• 在特征值及其对应类别概率的弱单调性假设下，开展理论分析。
• 本文建模了使用 ReLU 或 Sigmoid 激活函数以及 softmax 输出层的标准深度神经网络的行为。
• 研究了 softmax 和 Sigmoid 函数的饱和特性如何扭曲 OOD 输入上的置信度分数。
• 分析聚焦于广泛使用的不确定性度量指标，如 softmax 熵和最大概率，在这些假设下的表现。
• 提供了正式证明，表明由于单调性和饱和性，OOD 样本会系统性地被错误分类为高置信度预测。

实验结果

研究问题

• RQ1 为何标准的不确定性估计技术在神经网络分类器中无法检测 OOD 样本？
• RQ2 特征表示的单调性如何影响模型在 OOD 数据上的置信度？
• RQ3 softmax 的饱和行为在生成 OOD 输入的过度自信预测中起到何种作用？
• RQ4 在何种条件下，使用标准不确定性度量进行 OOD 检测在根本上是不可能的？

主要发现

• 具有单调性特征表示和 softmax 输出的神经网络分类器，即使应用了不确定性估计，也天然地对 OOD 数据产生过度自信的预测。
• softmax 和激活函数的饱和特性导致 OOD 样本被分配高置信度分数，从而模仿分布内预测的表现。
• 在弱单调性假设下，由于模型架构的结构性限制，不确定性估计技术无法可靠检测 OOD 输入。
• 理论分析证明，此类模型在根本上无法通过标准不确定性度量区分 OOD 输入与分布内输入。