[论文解读] Adding Uncertainty to Neural Network Regression Tasks in the Geosciences

Elizabeth A. Barnes, Randal J. Barnes+1 more|arXiv (Cornell University)|Sep 15, 2021

Neural Networks and Applications参考文献 2被引用 12

一句话总结

本文提出了一种简单且可推广的方法，通过预测用户定义概率分布（如位置、尺度、偏度和尾重）的参数，将不确定性引入地球科学中的深度神经网络回归模型，方法基于改进的网络输出和损失函数。该方法实现了异方差性与非对称性不确定性估计，并在使用双曲正弦-反双曲正弦（sinh-arcsinh, SHASH）分布并结合双射变换以强制参数约束的合成气候数据上成功验证。

ABSTRACT

A simple method for adding uncertainty to neural network regression tasks via estimation of a general probability distribution is described. The methodology supports estimation of heteroscedastic, asymmetric uncertainties by a simple modification of the network output and loss function. Method performance is demonstrated with a simple one dimensional data set and then applied to a more complex regression task using synthetic climate data.

研究动机与目标

• 解决地球科学应用中回归任务缺乏可访问的不确定性量化方法的问题。
• 使神经网络不仅能预测点估计值，还能预测完整的条件概率分布，以支持更好的风险评估与决策制定。
• 提供一种简单且可推广的框架，利用标准深度学习架构支持异方差性和非对称性不确定性。
• 在合成地球科学数据上（包括气候相关回归任务）展示该方法的有效性。
• 通过使方法直观且易于实现，推动不确定性感知深度学习在地球科学中的应用。

提出的方法

• 将网络修改为输出用户指定概率分布（如位置、尺度、偏度、尾重）的参数，而非仅单个数值。
• 应用双射变换（如指数或logit变换）以确保标准差和尾重等受限参数始终保持严格正或有界。
• 损失函数定义为真实目标值在预测分布下的负对数似然，以同时优化位置与不确定性。
• 采用灵活且非对称的sinh-arcsinh（SHASH）分布，能够建模偏度与重尾特性，并通过自定义辅助函数计算均值、方差与中位数。
• 使用TensorFlow与Keras实现，为每个分布参数配置独立的全连接层，最终通过拼接操作生成输出。
• 该方法在1D合成数据集上进行了验证，并扩展至具有非正态、偏态输出分布的复杂合成气候回归任务。

实验结果

研究问题

• RQ1 能否开发一种简单且可推广的方法，用于在地球科学的深度神经网络回归模型中引入不确定性？
• RQ2 如何修改神经网络，使其不仅能预测均值，还能预测预测分布的完整形状，包括偏度与尾部行为？
• RQ3 与标准回归方法相比，该方法在非正态、偏态地球科学数据上的不确定性量化能力提升程度如何？
• RQ4 如何通过可微分变换可靠地在训练过程中强制实施参数约束（如标准差的正性）？
• RQ5 该方法能否在TensorFlow和Keras等标准深度学习框架中高效且有效地实现？

主要发现

• 该方法在1D合成数据集上成功建模了异方差性与非对称性不确定性，预测分布与真实数据分布高度吻合。
• 在合成气候回归任务中，采用SHASH分布输出的模型在不确定性校准方面显著优于假设同方差正态分布的模型。
• 使用双射变换（如对尺度使用exp，对有界参数使用logit）确保了训练与推理过程中所有分布参数均保持在有效范围内。
• 在预测分布上最小化负对数似然损失函数，产生了校准良好的不确定性估计，经预测区间诊断检查得到验证。
• 该方法计算效率高，与标准深度学习流水线兼容，可直接部署于实际地球科学应用中。
• 该方法具有通用性与可扩展性：通过相应调整输出层与损失函数，可适用于任意参数化分布。