[论文解读] Interval Neural Networks: Uncertainty Scores

Luis Oala, Cosmas Heiß+4 more|arXiv (Cornell University)|Mar 25, 2020

Model Reduction and Neural Networks参考文献 20被引用 10

一句话总结

本文提出区间神经网络（INNs），一种非贝叶斯方法，利用区间算法为微调后的深度神经网络生成非对称、理论上有依据的不确定性边界。INNs 生成的下界和上界输出能够可靠地包含真实值，提供改进的误差相关性、方向性不确定性洞察以及对噪声的鲁棒性——在 CT 图像重建任务中，其不确定性量化性能优于蒙特卡洛丢弃法（Monte Carlo Dropout）和 ProbOut。

ABSTRACT

We propose a fast, non-Bayesian method for producing uncertainty scores in the output of pre-trained deep neural networks (DNNs) using a data-driven interval propagating network. This interval neural network (INN) has interval valued parameters and propagates its input using interval arithmetic. The INN produces sensible lower and upper bounds encompassing the ground truth. We provide theoretical justification for the validity of these bounds. Furthermore, its asymmetric uncertainty scores offer additional, directional information beyond what Gaussian-based, symmetric variance estimation can provide. We find that noise in the data is adequately captured by the intervals produced with our method. In numerical experiments on an image reconstruction task, we demonstrate the practical utility of INNs as a proxy for the prediction error in comparison to two state-of-the-art uncertainty quantification methods. In summary, INNs produce fast, theoretically justified uncertainty scores for DNNs that are easy to interpret, come with added information and pose as improved error proxies - features that may prove useful in advancing the usability of DNNs especially in sensitive applications such as health care.

研究动机与目标

• 解决现有不确定性量化（UQ）方法在深度神经网络中的局限性，特别是对称的不确定性估计以及对输入噪声的鲁棒性差的问题。
• 开发一种非贝叶斯、基于优化的方法，为微调后的深度神经网络生成理论上有依据的不确定性边界。
• 通过提供方向性信息（例如，预测值可能过高或过低）来提升不确定性评分的可解释性与实用性，超越对称方差的表示。
• 增强不确定性作为预测误差代理指标的可靠性，特别是在医学影像等敏感应用中。
• 证明基于区间的不确定性估计在覆盖范围和与实际误差的相关性方面优于最先进方法。

提出的方法

• INN 是一种具有区间权重和激活值的神经网络，通过区间算术传播输入，生成输出边界。
• 网络通过可微损失函数进行训练，以最小化区间宽度，同时确保真实值位于预测边界内。
• 仅对基础 DNN 的最后十二层应用区间传播，以保持主网络的预测行为。
• 不确定性评分源自区间宽度（上界减去下界），实现非对称、方向性的不确定性表示。
• 方法使用 Adam 优化器、小学习率和小批量训练，而基础 DNN 则独立预先训练。
• 采用性能加权相关系数（PWCC）作为主要指标，与蒙特卡洛丢弃法和 ProbOut 进行对比评估。

实验结果

研究问题

• RQ1 区间神经网络能否生成可靠包含真实值的不确定性边界，同时保持与实际预测误差的强相关性？
• RQ2 非对称区间边界的定向信息相较于对称方差估计，如何提升可解释性？
• RQ3 INN 方法是否如预期般对输入噪声保持鲁棒性，而现有 UQ 方法则不能？
• RQ4 在真实世界的医学影像任务中，INN 的不确定性评分与实际预测误差的相关性达到何种程度？
• RQ5 实际应用中，INN 预测区间的覆盖范围与其他 UQ 方法相比如何？

主要发现

• INN 方法在 CT 重建测试集上取得了最高的性能加权相关系数（PWCC）2211 ± 403，优于蒙特卡洛丢弃法（2170 ± 513）和 ProbOut（190 ± 28）。
• INN 方法表现出更优的抗噪声鲁棒性，在其他方法无法与误差建立相关性时，仍能保持一致的不确定性估计。
• 76% ± 6% 的真实值被包含在预测区间内，表明其具有强大的覆盖性能。
• 随着区间方向阈值的提高，INN 的方向性准确率从 57% 提升至 72%，证实其能够有效指示预测值可能过高或过低。
• INN 更准确地识别出图像中易出错的区域，如边缘伪影和高亮度变化区域，优于基线方法。
• 尽管采用非贝叶斯、基于优化的方法，INN 仍实现了其边界的理论依据，并保持了具有竞争力的推理速度。