[论文解读] Mitigating Neural Network Overconfidence with Logit Normalization
LogitNorm 在训练期间对 logits 进行单位范数归一化,固定范数,降低过度自信并显著提升 OOD 检测,同时保持 ID 准确性。
Detecting out-of-distribution inputs is critical for safe deployment of machine learning models in the real world. However, neural networks are known to suffer from the overconfidence issue, where they produce abnormally high confidence for both in- and out-of-distribution inputs. In this work, we show that this issue can be mitigated through Logit Normalization (LogitNorm) -- a simple fix to the cross-entropy loss -- by enforcing a constant vector norm on the logits in training. Our method is motivated by the analysis that the norm of the logit keeps increasing during training, leading to overconfident output. Our key idea behind LogitNorm is thus to decouple the influence of output's norm during network optimization. Trained with LogitNorm, neural networks produce highly distinguishable confidence scores between in- and out-of-distribution data. Extensive experiments demonstrate the superiority of LogitNorm, reducing the average FPR95 by up to 42.30% on common benchmarks.
研究动机与目标
- 激发并分析神经网络在 OOD 检测中的过度自信问题。
- 提出 Logit Normalization,使 logit 的幅度与优化过程解耦。
- 证明 LogitNorm 能在不同架构和数据集上提升 OOD 检测和校准。
提出的方法
- 在训练期间将 logit 向量归一化为单位长度,并对归一化后的 logits 采用交叉熵损失。
- 引入等效损失 L_logit_norm,在 softmax 中对输入使用 f/ (τ||f||),从而产生输入相关的温度。
- 给出 LogitNorm 损失的理论下界,并讨论 τ 与优化的含义。
- 与 logit penalty 和基于余弦的归一化进行比较,以展示 LogitNorm 的实际优势。
- 结合 MSP、ODIN、Energy 与 GradNorm 评分函数,在标准 OOD 基准上进行评估。
- 展示 LogitNorm 在提升 OOD 指标的同时保持 In-Distribution(ID)准确性。
实验结果
研究问题
- RQ1在训练过程中对 logits 进行归一化是否能够缓解神经网络对 ID 与 OOD 数据的过度自信?
- RQ2LogitNorm 是否在不同架构下提升 OOD 检测的同时保持在分布内的准确性?
- RQ3LogitNorm 如何与后验 OOD 评分方法及校准技术交互?
主要发现
- LogitNorm 在基准测试中降低 FPR95 并提升 OOD 检测的 AUROC/AUPR。
- 在 CIFAR-10,若 SVHN 作为 OOD,FPR95 从 50.33%(CE)降至 8.03%(LogitNorm)。
- 在六个 OOD 数据集上的平均结果,LogitNorm 相较于带交叉熵的 softmax 将 FPR95 降低了 33.87%。
- LogitNorm 提升了如 ODIN、Energy、GradNorm 等后验 OOD 评分的性能。
- ID 精度与交叉熵损失相当(如 CIFAR-10 ResNet-34:95.14% 对 95.01%)。
- LogitNorm 提升了结合后验温度缩放的校准潜力。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。