[论文解读] Learning uncertainty in regression tasks by artificial neural networks

Pavel Gurevich, Hannes Stuke|arXiv (Cornell University)|Jul 23, 2017

Gaussian Processes and Bayesian Inference参考文献 26被引用 4

一句话总结

本文提出了一种新颖的回归任务不确定性量化方法，通过联合训练两个神经网络实现：一个用于预测，另一个通过平均损失估计局部预测不确定性。该方法能够提升预测性能，并在假设噪声服从高斯或拉普拉斯分布时恢复经典方法（如最大对数似然），而无需预先设定噪声分布。

ABSTRACT

We suggest a general approach to quantification of different forms of uncertainty in regression tasks performed by artificial neural networks. It is based on the simultaneous training of two neural networks with a joint loss function. One of the networks performs predictions and the other simultaneously quantifies the uncertainty of predictions by estimating the locally averaged loss of the first one. Unlike in many classical uncertainty quantification methods, the targets are not assumed to be sampled from a probability distribution of an a priori given form. We analyze how the hyperparameters affect the learning process and, additionally, show that our method even allows for better predictions compared to standard neural networks without uncertainty counterparts. Finally, we show that particular cases of our approach include maximization of log-likelihood, assuming Gaussian or Laplace noise.

研究动机与目标

• 开发一种无需假设噪声分布具有已知参数形式的回归任务不确定性量化通用框架。
• 通过在训练过程中引入不确定性估计，提升预测性能。
• 通过利用预测网络的损失景观，使模型能够局部学习不确定性。
• 证明该方法可涵盖经典方法（如在高斯或拉普拉斯噪声假设下的最大对数似然）。

提出的方法

• 同时训练两个神经网络：一个用于回归预测，另一个用于估计不确定性。
• 使用联合损失函数，结合预测损失与不确定性估计损失。
• 不确定性网络估计预测网络的局部平均损失，反映预测的可靠性。
• 该方法不预先假设噪声分布，因此适用于各种回归任务。
• 该方法可推广至已知的不确定性量化方法，如在高斯或拉普拉斯噪声下的最大对数似然。

实验结果

研究问题

• RQ1 是否可以在不假设噪声分布具有特定参数形式的前提下，有效量化回归任务中的不确定性？
• RQ2 预测网络与不确定性网络的联合训练如何影响预测性能？
• RQ3 所提出方法在多大程度上可恢复经典不确定性估计技术（如最大对数似然）？
• RQ4 超参数如何影响学习动态与不确定性估计质量？

主要发现

• 与未进行不确定性估计的标准神经网络相比，所提方法显著提升了预测准确性。
• 不确定性网络通过估计预测网络的平均损失，有效捕捉了局部预测的可靠性。
• 当假设噪声服从高斯或拉普拉斯分布时，该方法可恢复最大对数似然估计。
• 超参数调优显著影响学习过程，最优设置可提升不确定性校准效果。