[论文解读] Efficient Reservoir Management through Deep Reinforcement Learning

Xinrun Wang, Tarun Nair+8 more|arXiv (Cornell University)|Dec 7, 2020

Adaptive Dynamic Programming Control参考文献 8被引用 5

一句话总结

本论文提出了一种基于离线模拟器与动态线性模型（DLM）的深度强化学习（DRL）框架，用于高效水库管理，以预测上游来水。该框架基于真实降雨和水库数据进行训练，DDPG与TD3智能体的表现优于人工制定的策略，其中TD3在真实世界数据上展现出更优的泛化能力，证明了该方法在人工智能驱动的洪水缓解与多目标水库优化方面的潜力。

ABSTRACT

Dams impact downstream river dynamics through flow regulation and disruption of upstream-downstream linkages. However, current dam operation is far from satisfactory due to the inability to respond the complicated and uncertain dynamics of the upstream-downstream system and various usages of the reservoir. Even further, the unsatisfactory dam operation can cause floods in downstream areas. Therefore, we leverage reinforcement learning (RL) methods to compute efficient dam operation guidelines in this work. Specifically, we build offline simulators with real data and different mathematical models for the upstream inflow, i.e., generalized least square (GLS) and dynamic linear model (DLM), then use the simulator to train the state-of-the-art RL algorithms, including DDPG, TD3 and SAC. Experiments show that the simulator with DLM can efficiently model the inflow dynamics in the upstream and the dam operation policies trained by RL algorithms significantly outperform the human-generated policy.

研究动机与目标

• 解决当前大坝调度效率低下导致的下游洪水与生态破坏问题，尤其在印度等季风多发地区。
• 克服传统基于规则的策略的局限性，如非自适应的规则曲线以及对极端降雨事件响应不佳。
• 开发一种数据驱动、自适应的水库管理机制，能够同时优化多个目标：防洪、水力发电与灌溉潜力。
• 利用动态模型（如DLM）提升来水预测精度，以更好地捕捉不断变化的水文气候条件。
• 证明在模拟环境中训练的深度强化学习智能体在真实水库调度中的有效性。

提出的方法

• 基于2012–2019年班萨加尔大坝的真实世界数据构建离线模拟器，整合来自CHIRPS的降雨估计值与水库水位观测数据。
• 采用结合卡尔曼滤波与贝叶斯更新的动态线性模型（DLM）来模拟随时间变化的来水动态，其性能优于静态GLS模型。
• 将水库管理建模为一个马尔可夫决策过程（MDP），包含状态、动作、转移、奖励与折扣因子。
• 设计复合奖励函数，综合考虑洪水损失减少、水稻与小麦灌溉潜力提升以及水力发电量。
• 在模拟器上训练最先进的DRL算法——DDPG、TD3与SAC，使用基于DLM的模型进行来水预测。
• 在保留的2019年数据集上评估策略性能，以检验泛化能力，并与人工制定的泄流策略进行比较。

实验结果

研究问题

• RQ1 在DLM增强的模拟器上训练的DRL智能体，是否能在减少下游洪水损失方面优于人工制定的水库调度策略？
• RQ2 来水预测模型的选择（GLS vs. DLM）如何影响训练后DRL策略的性能与稳定性？
• RQ3 在模拟器使用真实数据与基于模型的来水预测时，基于模拟数据训练的DRL智能体在多大程度上能泛化到真实世界条件？
• RQ4 在水库管理任务中，不同DRL算法（DDPG、TD3、SAC）在训练效率、稳定性与最终性能方面有何差异？
• RQ5 能否通过单一DRL策略有效优化多个目标：防洪、灌溉与水力发电？

主要发现

• 基于DLM的模拟器实现了0.9843的纳什-萨特克莱夫效率（NSE），显著优于GLS模型的0.4045，证明其在来水预测精度上的优越性。
• 在基于DLM模拟器训练的DDPG与TD3智能体，在减少洪水损失及提升灌溉与水力发电产出方面，优于人工制定的策略。
• TD3在真实数据上的测试性能与DDPG几乎相同，而DDPG在使用真实数据的模拟器上出现过拟合，表明TD3具有更强的泛化能力。
• SAC在所有模拟器上均未能有效训练，表现出较差的性能与不稳定性，可能由于超参数敏感性或环境复杂性所致。
• 在DLM基础上引入GLS并未提升模型性能，表明在此情境下仅使用DLM已足够实现精确的来水建模。
• 结果证实，基于模型的模拟器（使用DLM）在训练稳健的DRL策略方面比仅依赖数据的模拟器更有效，后者易导致过拟合并降低真实世界泛化能力。