[论文解读] Inhibited Softmax for Uncertainty Estimation in Neural Networks
本文提出了一种名为 Inhibited Softmax 的方法，用于神经网络中的不确定性估计。该方法通过引入一个可学习的常量输入来扩展标准 Softmax，从而生成一个表示模型不确定性的附加输出。该方法无需额外参数、多次前向传播或分布外（OOD）数据，且在图像识别和情感分析任务中，性能可与最先进方法相媲美，同时优于基线模型。
We present a new method for uncertainty estimation and out-of-distribution detection in neural networks with softmax output. We extend softmax layer with an additional constant input. The corresponding additional output is able to represent the uncertainty of the network. The proposed method requires neither additional parameters nor multiple forward passes nor input preprocessing nor out-of-distribution datasets. We show that our method performs comparably to more computationally expensive methods and outperforms baselines on our experiments from image recognition and sentiment analysis domains.
研究动机与目标
- 开发一种简单、高效的神经网络不确定性估计方法，无需额外参数或多次前向传播。
- 在训练过程中不依赖对抗样本或 OOD 数据集，实现分布外检测。
- 通过扩展的 Softmax 层提供数学上可解释的不确定性度量。
- 在保持预测准确性的同时，改进神经网络中的不确定性近似。
- 证明该方法在性能上可与更复杂的贝叶斯方法或集成方法相媲美。
提出的方法
- 该方法用 Inhibited Softmax 层替代标准 Softmax 层，增加一个常量输入和一个额外的输出头以表示不确定性。
- 额外的输出在训练过程中学习，并被解释为模型置信度或不确定性的度量。
- Inhibited Softmax 层应用于最终分类层，实现单次前向传播即可进行不确定性估计。
- 该方法除在 Softmax 计算中增加一个单一常量输入外，无需任何架构上的其他更改。
- 该方法与标准反向传播兼容，且在最终层未引入额外可学习参数。
- 该方法在图像分类（MNIST、CIFAR-10）和情感分析（IMDB）基准上进行了评估。
实验结果
研究问题
- RQ1一种简单、单次前向传播的方法能否在不依赖额外参数或 OOD 数据的情况下估计神经网络中的不确定性？
- RQ2Inhibited Softmax 的输出与蒙特卡洛 dropout 或贝叶斯神经网络的不确定性度量相比如何？
- RQ3该方法在估计不确定性的同时是否保持或提升了预测准确性？
- RQ4该方法能否以极低的计算开销有效检测分布外样本？
- RQ5将额外的 Inhibited Softmax 输出解释为有效不确定性度量的数学基础是什么？
主要发现
- Inhibited Softmax 在分布外检测任务中优于基线方法，在 MNIST 上 AUC 达到 0.987，高于 MCD 的 0.982 和 IS 的 0.983。
- 在 IMDB 情感分析数据集上，Inhibited Softmax 的 AUC 达到 0.689，优于基线方法，且与其它方法相当或更优。
- 该方法保持了较高的预测准确性，在 IMDB 上测试准确率为 0.885，在 CIFAR-10 上为 0.875，与基线和最先进模型相当。
- Inhibited Softmax 仅需单次前向传播且无额外参数，而蒙特卡洛 dropout 或贝叶斯神经网络等方法则不然。
- 可视化结果显示，Inhibited Softmax 与蒙特卡洛 dropout 在变分自编码器（VAE）潜在空间中的不确定性估计具有高度相似性。
- 该方法在情感分析任务的浅层网络中表现尤为出色，表明在进一步调优后，其在深层架构中也具有应用潜力。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。