[论文解读] Frequentist uncertainty estimates for deep learning.

Nataša Tagasovska, David López-Paz|arXiv (Cornell University)|Nov 2, 2018

Machine Learning and Algorithms参考文献 46被引用 18

一句话总结

本文提出了一种频率学派方法，用于估计深度神经网络中的随机不确定性与认知不确定性。该方法引入了联合分位数回归，以学习条件分位数，从而生成校准良好的预测区间，并通过训练证书——一种将训练数据映射到零、将分布外输入映射到非零值的函数——来检测认知不确定性，其在校准性和分布外检测方面优于先前的方法。

ABSTRACT

We provide frequentist estimates of aleatoric and epistemic uncertainty for deep neural networks. To estimate aleatoric uncertainty we propose simultaneous quantile regression, a loss function to learn all the conditional quantiles of a given target variable. These quantiles lead to well-calibrated prediction intervals. To estimate epistemic uncertainty we propose training certificates, a collection of diverse non-trivial functions that map all training samples to zero. These certificates map out-of-distribution examples to non-zero values, signaling high epistemic uncertainty. We compare our proposals to prior art in various experiments.

研究动机与目标

• 为深度神经网络中的随机不确定性与认知不确定性提供频率学派的估计方法。
• 解决深度学习模型中缺乏校准良好的预测区间的问题。
• 通过量化认知不确定性来检测分布外输入。
• 开发一种既具有理论基础又在实践中有效的不确定性估计方法，且不依赖贝叶斯推断。

提出的方法

• 使用联合分位数回归，通过单个深度神经网络估计目标变量的多个条件分位数。
• 提出一种新型损失函数，用于训练网络同时预测所有所需的分位数，从而实现校准良好的预测区间。
• 构建训练证书，作为多样且非平凡的函数，将所有训练输入映射到零。
• 利用这些证书通过为分布外输入分配非零值来检测其是否存在，从而指示高阶认知不确定性。
• 该方法利用训练数据的结构和泛化特性来区分分布偏移。
• 该方法避免使用贝叶斯近似，转而基于频率学派原理进行不确定性量化。

实验结果

研究问题

• RQ1 联合分位数回归是否能在深度学习模型中生成校准良好的预测区间？
• RQ2 训练证书是否能有效指示分布外输入的高阶认知不确定性？
• RQ3 与现有方法相比，该方法在模型校准性和分布外检测方面表现如何？
• RQ4 是否可能在深度学习中完全通过频率学派方法估计随机不确定性与认知不确定性？

主要发现

• 联合分位数回归生成了校准良好的预测区间，优于标准回归基线方法。
• 训练证书成功地将分布外样本映射到非零值，表明其具有高阶认知不确定性。
• 该方法在分布外检测方面优于先前的最先进方法。
• 所提出的不确定性估计具有良好的校准性，且无需使用贝叶斯推断或蒙特卡洛采样。