[论文解读] Estimating Uncertainty Intervals from Collaborating Networks

Tianhui Zhou, Yitong Li+2 more|arXiv (Cornell University)|Feb 12, 2020

Statistical Methods and Inference被引用 4

一句话总结

本文提出协作网络（CN），一种新颖的深度学习框架，通过训练两个神经网络来估计回归任务中的不确定性区间：一个用于近似条件累积分布函数（CDF），另一个用于近似其逆函数。该方法在合成数据集和真实世界数据集（包括糖尿病患者A1c预测）上均实现了校准良好且精确的预测区间，优于现有方法。

ABSTRACT

Effective decision making requires understanding the uncertainty inherent in a prediction. In regression, this uncertainty can be estimated by a variety of methods; however, many of these methods are laborious to tune, generate overconfident uncertainty intervals, or lack sharpness (give imprecise intervals). We address these challenges by proposing a novel method to capture predictive distributions in regression by defining two neural networks with two distinct loss functions. Specifically, one network approximates the cumulative distribution function, and the second network approximates its inverse. We refer to this method as Collaborating Networks (CN). Theoretical analysis demonstrates that a fixed point of the optimization is at the idealized solution, and that the method is asymptotically consistent to the ground truth distribution. Empirically, learning is straightforward and robust. We benchmark CN against several common approaches on two synthetic and six real-world datasets, including forecasting A1c values in diabetic patients from electronic health records, where uncertainty is critical. In the synthetic data, the proposed approach essentially matches ground truth. In the real-world datasets, CN improves results on many performance metrics, including log-likelihood estimates, mean absolute errors, coverage estimates, and prediction interval widths.

研究动机与目标

• 解决使用深度学习在回归任务中获得校准良好且精确的不确定性区间的挑战。
• 开发一种避免过度自信并保持与真实潜在条件分布一致的方法。
• 构建一个稳健且可训练的框架，同时优化预测区间的校准性与精确性。
• 在多样化数据集上（包括电子健康记录中的A1c预测等复杂真实应用场景）证明该方法的有效性。

提出的方法

• 该框架使用两个神经网络：一个用于估计条件CDF，另一个用于估计其逆CDF，二者构成协作对。
• CDF网络基于经验分布函数损失进行训练，而逆CDF网络则使用独立且互补的损失函数进行训练。
• 两个网络通过具有不同目标的联合优化方式训练，类似于生成对抗网络（GANs），确保相互一致性，并收敛至真实分布。
• 理论分析表明，优化的不动点对应于真实条件CDF及其逆CDF，在较弱正则性条件下具有渐近一致性。
• 该方法支持一维和多维输出分布，包括极坐标到笛卡尔坐标系等复杂变换。
• 该方法可通过逆CDF反演实现从估计分布中采样，并支持灵活的区间类型（如单边、双边）和覆盖率水平。

实验结果

研究问题

• RQ1 能否通过深度学习框架联合学习条件CDF及其逆函数，以生成校准良好且精确的不确定性区间？
• RQ2 协作网络方法是否与真实潜在分布具有渐近一致性？
• RQ3 在真实世界和合成数据上，该方法在校准性、精确性及对数似然性方面相较于现有不确定性估计技术表现如何？
• RQ4 该框架能否处理输出分布的复杂非线性变换（如圆形分布或多变量分布）？

主要发现

• 在合成数据上，CN方法的CDF与真实CDF高度吻合，表明其能准确恢复真实条件分布。
• 在真实世界数据集（包括从电子健康记录中进行A1c预测）中，CN在对数似然性、平均绝对误差和预测区间宽度方面均表现更优。
• 该方法的覆盖率估计更优，表明其校准性优于基线模型，尤其在高风险医疗预测任务中表现突出。
• 该框架在多种数据分布（包括双变量正态分布和基于冯·米塞斯分布的圆形分布）下均保持了稳健且稳定的训练过程。
• 实证结果证实，该方法在不牺牲校准性的前提下实现了更精确的区间，解决了不确定性估计中常见的校准性与精确性之间的权衡问题。
• 理论分析确认，真实CDF及其逆CDF构成优化过程的不动点，支持该方法的收敛性与一致性。