[论文解读] Know Your Limits: Uncertainty Estimation with ReLU Classifiers Fails at Reliable OOD Detection

Dennis Ulmer, Giovanni Cinà|arXiv (Cornell University)|Dec 9, 2020

Adversarial Robustness in Machine Learning参考文献 45被引用 6

一句话总结

本文从理论和实证两方面证明，基于ReLU的神经网络分类器在结合常见不确定性估计方法时，无法实现可靠的分布外（OOD）检测。作者证明，由于ReLU网络的分段仿射特性及激活函数的饱和性，不确定性度量（如预测熵）在OOD数据上会收敛至一个固定且过度自信的水平，导致其在需要真正OOD感知的安全关键应用中失效。

ABSTRACT

A crucial requirement for reliable deployment of deep learning models for safety-critical applications is the ability to identify out-of-distribution (OOD) data points, samples which differ from the training data and on which a model might underperform. Previous work has attempted to tackle this problem using uncertainty estimation techniques. However, there is empirical evidence that a large family of these techniques do not detect OOD reliably in classification tasks. This paper gives a theoretical explanation for said experimental findings and illustrates it on synthetic data. We prove that such techniques are not able to reliably identify OOD samples in a classification setting, since their level of confidence is generalized to unseen areas of the feature space. This result stems from the interplay between the representation of ReLU networks as piece-wise affine transformations, the saturating nature of activation functions like softmax, and the most widely-used uncertainty metrics.

研究动机与目标

• 解释为何基于ReLU的分类器在使用标准不确定性估计时无法可靠检测分布外（OOD）样本。
• 识别OOD区域中过度泛化置信度的根本原因，尤其关注ReLU网络结构与激活函数的关系。
• 证明在温和假设下，广泛使用的不确定性度量（如预测熵和方差）在OOD数据上会收敛至固定确定性水平。
• 表明此失败现象在标准模型以及集成/变分推理方法中均存在，从而削弱其在安全关键场景中的可靠性。

提出的方法

• 理论分析将ReLU网络建模为分段仿射变换，表明不确定性度量在远离训练数据的区域趋于恒定。
• 论文推导了预测熵梯度的渐近界，证明其在OOD区域趋近于零，表明对输入扰动不敏感。
• 使用合成半圆数据可视化不确定性曲面与梯度大小，展示在训练分布之外出现恒定置信度的区域。
• 训练并评估了多种模型（包括标准神经网络、蒙特卡洛Dropout与集成方法），并使用熵、方差与互信息等指标评估不确定性行为。
• 分析聚焦于ReLU激活特性、Softmax饱和性与不确定性估计之间的相互作用，揭示了根本性的架构限制。
• 实证验证通过梯度范数分析表明，不确定性在OOD区域对输入变化变得不敏感，与理论预测一致。

实验结果

研究问题

• RQ1 为何基于ReLU的分类器在使用标准不确定性估计时无法检测分布外样本？
• RQ2 ReLU网络的何种理论特性导致不确定性水平泛化至未见的OOD区域？
• RQ3 不确定性估计的失败是否在不同不确定性量化方法（包括集成与变分推理）中持续存在？
• RQ4 在远离训练数据的区域，不确定性度量的梯度行为如何？这对OOD检测有何含义？
• RQ5 过度泛化的置信度是否可归因于ReLU网络的分段仿射结构与Softmax的饱和特性？

主要发现

• 不确定性度量（如预测熵）在OOD样本上收敛至固定常数值，与输入距离训练分布的远近无关。
• 预测熵对输入的梯度在OOD区域趋近于零，表明微小输入扰动不会影响不确定性，导致过度泛化置信。
• 此行为不仅限于单个模型，还扩展至蒙特卡洛Dropout、集成方法与变分推理，表明ReLU-based不确定性估计存在系统性缺陷。
• 合成实验确认，在训练数据之外的大片区域出现恒定确定性，热力图中表现为白色区域。
• 即使采用温度缩放与集成方法，静态确定性区域依然存在，且OOD区域的主观不确定性保持较低，严重削弱检测能力。
• 理论分析证明，在温和假设下，OOD区域中不确定性度量的渐近行为是受约束且不变的，因此可靠检测成为不可能。