[论文解读] Evaluating aleatoric and epistemic uncertainties of time series deep learning models for soil moisture predictions

Kuai Fang, Chaopeng Shen+1 more|arXiv (Cornell University)|Jun 10, 2019

Soil Moisture and Remote Sensing被引用 11

一句话总结

该论文评估了在长短期记忆（LSTM）模型中结合随机动态不确定性项的蒙特卡洛丢弃（MCD）方法，用于从卫星数据预测土壤湿度。在验证年份上调优丢弃率后，综合不确定性估计值（$\sigma_{\text{comb}}$）成功预测了模型误差，并检测到输入空间中的不相似性，表明MCD可作为水文时间序列中可靠的不相似性检测器。

ABSTRACT

Soil moisture is an important variable that determines floods, vegetation health, agriculture productivity, and land surface feedbacks to the atmosphere, etc. Accurately modeling soil moisture has important implications in both weather and climate models. The recently available satellite-based observations give us a unique opportunity to build data-driven models to predict soil moisture instead of using land surface models, but previously there was no uncertainty estimate. We tested Monte Carlo dropout (MCD) with an aleatoric term for our long short-term memory models for this problem, and asked if the uncertainty terms behave as they were argued to. We show that the method successfully captures the predictive error after tuning a hyperparameter on a representative training dataset. We show the MCD uncertainty estimate, as previously argued, does detect dissimilarity.

研究动机与目标

• 评估蒙特卡洛丢弃（MCD）结合随机动态项是否能有效量化深度学习模型在土壤湿度预测中的不确定性。
• 确定MCD的认知不确定性分量是否如高斯过程近似所预期的那样，能够检测到输入空间中的不相似性。
• 评估在超参数调优后，综合不确定性估计值（$\sigma_{\text{comb}}$）是否与实际预测误差相关。
• 研究随机动态和认知不确定性分量对数据随机性和分布外输入的响应行为。
• 通过时间泛化测试，在全美（CONUS）范围的真实SMAP土壤湿度数据上验证该方法。

提出的方法

• 在一年的SMAP土壤湿度和气象强迫数据上训练LSTM模型，以预测全美范围的土壤湿度。
• 在推理过程中应用蒙特卡洛丢弃（MCD），生成一组预测结果，利用这些预测结果的方差作为认知不确定性（$\sigma_{\text{mc}}$）的估计。
• 在神经网络中增加第二个输出头（$\sigma_x$），用于预测异方差观测噪声，表示随机动态不确定性。
• 通过 $\sigma_{\text{comb}}^2 = \sigma_{\text{mc}}^2 + \sigma_x^2$ 将两种不确定性分量组合，形成总不确定性估计。
• 在第二年的数据上调优丢弃率，使不确定性幅度与实际预测误差（ubRMSE）相匹配，以实现校准。
• 使用校准曲线和误差的空间相关性等指标，在第三年独立测试集上评估不确定性估计。

实验结果

研究问题

• RQ1 在超参数调优后，基于MCD的不确定性估计是否能准确反映预测误差的大小？
• RQ2 当模型遇到与训练分布不相似的输入数据时，认知不确定性分量（$\sigma_{\text{mc}}$）是否会增加？
• RQ3 随机动态不确定性分量（$\sigma_x$）是否能有效捕捉系统中的输入依赖性噪声或随机性？
• RQ4 综合不确定性估计（$\sigma_{\text{comb}}$）是否可用于预测时间泛化场景中的模型误差？
• RQ5 即使未显式提供位置特征，模型的不确定性在多大程度上能反映地理和气候上的不相似性？

主要发现

• 经过校准的 $\sigma_{\text{comb}}$ 不确定性估计与无偏均方根误差（ubRMSE）在空间上高度一致，东部和山区的不确定性更高，这些区域SMAP数据质量较低。
• $\sigma_{\text{comb}}$ 对实际误差的校准曲线接近一条近乎完美的对角线，表明不确定性估计是良好校准的。
• 认知不确定性（$\sigma_{\text{mc}}$）在训练的HUC2流域内最低，并随地理距离增加而上升，表明MCD无需显式位置特征即可检测输入不相似性。
• $\sigma_{\text{mc}}$ 的空间分布反映了气候学和地表特征（如森林覆盖和土壤质地），这些特征在输入数据中具有自相关性。
• 随机动态不确定性项（$\sigma_x$）被证明能有效捕捉输入依赖性噪声，对总不确定性估计有显著贡献。
• 该方法成功预测了时间泛化场景下的模型误差（在一年数据上训练，另一年测试），证实其在真实水文预报中的实用性。