[论文解读] Differentiable, learnable, regionalized process-based models with physical outputs can approach state-of-the-art hydrologic prediction accuracy

Dapeng Feng, Jiangtao Liu+2 more|arXiv (Cornell University)|Mar 28, 2022

Hydrological Forecasting Using AIEnvironmental Science被引用 19

一句话总结

本文提出了一种可微分、可学习、区域化的基于过程的水文模型（称为δ模型），将物理过程理解与神经网络优化相结合。通过将神经网络嵌入HBV水文模型以参数化关键模块，δ模型在671个美国流域中实现了接近最先进水平的径流预测精度（中位数NSE为0.732），同时生成了土壤湿度、蒸散发和基流等物理解释一致的输出。

ABSTRACT

Predictions of hydrologic variables across the entire water cycle have significant value for water resource management as well as downstream applications such as ecosystem and water quality modeling. Recently, purely data-driven deep learning models like long short-term memory (LSTM) showed seemingly-insurmountable performance in modeling rainfall-runoff and other geoscientific variables, yet they cannot predict untrained physical variables and remain challenging to interpret. Here we show that differentiable, learnable, process-based models (called δ models here) can approach the performance level of LSTM for the intensively-observed variable (streamflow) with regionalized parameterization. We use a simple hydrologic model HBV as the backbone and use embedded neural networks, which can only be trained in a differentiable programming framework, to parameterize, enhance, or replace the process-based model modules. Without using an ensemble or post-processor, δ models can obtain a median Nash Sutcliffe efficiency of 0.732 for 671 basins across the USA for the Daymet forcing dataset, compared to 0.748 from a state-of-the-art LSTM model with the same setup. For another forcing dataset, the difference is even smaller: 0.715 vs. 0.722. Meanwhile, the resulting learnable process-based models can output a full set of untrained variables, e.g., soil and groundwater storage, snowpack, evapotranspiration, and baseflow, and later be constrained by their observations. Both simulated evapotranspiration and fraction of discharge from baseflow agreed decently with alternative estimates. The general framework can work with models with various process complexity and opens up the path for learning physics from big data.

研究动机与目标

• 解决纯数据驱动的深度学习模型在水文学中的局限性，例如可解释性不足以及无法预测未经训练的物理变量。
• 开发一种混合建模框架，保留物理过程表征的同时支持端到端可微分学习。
• 利用神经网络实现过程模型的区域化参数化，以提升在多样化水文气候条件下的泛化能力。
• 确保模型输出保持物理解释一致性，并能通过蒸散发和基流等未经训练变量的观测数据进行约束。
• 证明物理信息驱动的可学习模型可在无需集成或后处理的情况下，达到与最先进LSTM模型相当的预测精度。

提出的方法

• 以HBV（Hydrologiska Byrån模型）作为物理基础，通过基于过程的模块模拟水文循环。
• 使用可微分神经网络替代或增强关键HBV模块（如积雪融化、土壤湿度、汇流），并通过反向传播进行训练。
• 通过在流域特定数据上训练实现区域化参数化，使模型可在水文气候相似区域之间进行迁移学习。
• 使用可微分编程框架对整个模型进行端到端训练，支持对物理参数和神经网络权重的梯度优化。
• 使用Daymet气象强迫数据集及第二个替代数据集，在不同气候条件下评估模型性能。
• 通过将模型输出（如蒸散发、基流）与独立观测数据进行比较和约束，确保物理解释一致性。

实验结果

研究问题

• RQ1 可微分、可学习、基于过程的模型能否实现与LSTM等最先进深度学习模型相当的径流预测精度？
• RQ2 神经网络在在多大程度上可以增强或替代基于过程的模块，同时保持物理解释一致性和可解释性？
• RQ3 所提出的框架能否以合理精度预测未经训练的物理变量（如土壤湿度、蒸散发、基流）？
• RQ4 区域化参数化在多大程度上影响模型在多样化美国流域中的泛化能力和性能表现？
• RQ5 模型输出能否通过超出径流之外的物理变量独立观测数据实现有意义的约束？

主要发现

• 在使用Daymet强迫数据集的671个美国流域中，δ模型实现了中位数Nash-Sutcliffe效率（NSE）为0.732，与在相同条件下LSTM模型0.748的性能非常接近。
• 在第二个强迫数据集上，δ模型的NSE为0.715，而LSTM模型为0.722，表明预测精度几乎持平。
• 该模型成功生成了未经训练变量（如蒸散发和基流）的物理解释一致输出，与替代估计值表现出良好一致性。
• 该框架实现了基于过程模型与可微分神经网络的端到端训练，支持对物理和学习组件的梯度优化。
• 区域化参数化显著提升了模型的泛化能力，使其在多样化水文气候区均表现出稳健性能。
• 该方法在保持物理可解释性的同时，实现了以往仅通过纯数据驱动模型才能达到的性能水平。