[论文解读] A review of machine learning concepts and methods for addressing challenges in probabilistic hydrological post-processing and forecasting

Georgia Papacharalampous, Hristos Tyralis|arXiv (Cornell University)|Jun 17, 2022

Hydrological Forecasting Using AI参考文献 206被引用 40

一句话总结

本文综述了机器学习（ML）概念与方法——如分位数回归、集成学习和深度学习——在改进概率性水文后处理与预报中的应用。提出了一套统一框架，以形式化、优化并识别最有效的基于机器学习的预报实现方式，强调开放科学、基准测试和元学习，以提升预测能力与方法透明度。

ABSTRACT

Probabilistic forecasting is receiving growing attention nowadays in a variety of applied fields, including hydrology. Several machine learning concepts and methods are notably relevant towards addressing the major challenges of formalizing and optimizing probabilistic forecasting implementations, as well as the equally important challenge of identifying the most useful ones among these implementations. Nonetheless, practically-oriented reviews focusing on such concepts and methods, and on how these can be effectively exploited in the above-outlined essential endeavour, are currently missing from the probabilistic hydrological forecasting literature. This absence holds despite the pronounced intensification in the research efforts for benefitting from machine learning in this same literature. It also holds despite the substantial relevant progress that has recently emerged, especially in the field of probabilistic hydrological post-processing, which traditionally provides the hydrologists with probabilistic hydrological forecasting implementations. Herein, we aim to fill this specific gap. In our review, we emphasize key ideas and information that can lead to effective popularizations, as such an emphasis can support successful future implementations and further scientific developments. In the same forward-looking direction, we identify open research questions and propose ideas to be explored in the future.

研究动机与目标

• 为解决在概率性水文后处理与预报中缺乏实用且全面的机器学习（ML）方法综述的问题。
• 形式化并优化基于机器学习的预报实现，尤其关注处理水文不确定性与模型选择问题。
• 从日益增多的方法选项中识别出最有效的ML方法，重点关注其在不同水文条件下的实际效用与性能表现。
• 推动开放科学实践——如开放数据集与软件——以加速方法评估与水文预报中的可复现性。
• 提出一种统一的多方法策略，通过系统性基准测试与元学习，最大化预测能力，同时最小化风险。

提出的方法

• 系统性地综述了关键的机器学习概念，包括分位数回归、集成学习、深度学习以及群体智慧方法，用于概率性预报。
• 提出一个整合多种机器学习方法的框架——特别是基于预测分布建模的方法——以提升预报的可靠性与精确性。
• 强调利用时间序列特征（如趋势、季节性、非线性）和水文特征作为元特征，用于模型选择与性能解释。
• 倡导基于标准化开放数据集与软件（如R和Python工具包）进行基准测试，以确保可复现性与方法严谨性。
• 引入元学习作为一项新颖且尚未充分探索的方法，基于时间序列特征与流域特征自动选择预报方法。
• 建议采用开放科学实践，包括公开数据共享与版本控制的软件，以支持透明、可扩展且可复现的预报研究。

实验结果

研究问题

• RQ1 哪些机器学习方法在概率性水文后处理与预报中最为有效，以及如何对它们进行系统性评估？
• RQ2 如何将元学习应用于概率性水文预报，以基于时间序列与流域特征自动选择方法？
• RQ3 时间序列特征与水文特征在解释与提升基于机器学习的预报模型性能方面发挥什么作用？
• RQ4 开放科学原则——如开放数据与软件——如何加速概率性水文预报中的方法开发与基准测试？
• RQ5 何种统一的多方法策略能够最大化预测能力，同时最小化概率性水文预报中的风险？

主要发现

• 分位数回归、集成学习与深度学习等机器学习方法显著提升了概率性水文预报的形式化与优化水平。
• 元学习在概率性水文预报中仍基本未被探索，但其在基于时间序列与流域特征自动选择方法方面具有巨大潜力。
• 时间序列特征（如趋势、季节性、非线性）与水文特征对于解释模型性能及指导方法选择具有重要价值。
• 使用大规模开放数据集与标准化软件（如R和Python工具包）进行基准测试，对于加速方法评估与确保可复现性至关重要。
• 开放科学实践——包括开放数据与软件——对于推进透明、可扩展且可靠的概率性预报研究至关重要。
• 一种结合多种机器学习技术的统一多方法策略，能够最大化预测能力，同时降低因方法特异性局限带来的风险。