[论文解读] Learning to run a Power Network Challenge: a Retrospective Analysis

Antoine Marot, Benjamin Donnot+8 more|arXiv (Cornell University)|Mar 2, 2021

Smart Grid Energy Management参考文献 31被引用 13

一句话总结

本文介绍了在NeurIPS 2020举办的L2RPN挑战赛，推出了开源的Grid2Op框架，以支持在真实电力网络运行中开展强化学习研究。该研究展示了在可再生能源不确定性下，系统在韧性与适应性方面超越人类的表现，优胜智能体在复杂、基于物理的环境中实现了稳健的长时域决策。

ABSTRACT

Power networks, responsible for transporting electricity across large geographical regions, are complex infrastructures on which modern life critically depend. Variations in demand and production profiles, with increasing renewable energy integration, as well as the high voltage network technology, constitute a real challenge for human operators when optimizing electricity transportation while avoiding blackouts. Motivated to investigate the potential of AI methods in enabling adaptability in power network operation, we have designed a L2RPN challenge to encourage the development of reinforcement learning solutions to key problems present in the next-generation power networks. The NeurIPS 2020 competition was well received by the international community attracting over 300 participants worldwide. The main contribution of this challenge is our proposed comprehensive 'Grid2Op' framework, and associated benchmark, which plays realistic sequential network operations scenarios. The Grid2Op framework, which is open-source and easily re-usable, allows users to define new environments with its companion GridAlive ecosystem. Grid2Op relies on existing non-linear physical power network simulators and let users create a series of perturbations and challenges that are representative of two important problems: a) the uncertainty resulting from the increased use of unpredictable renewable energy sources, and b) the robustness required with contingent line disconnections. In this paper, we give the competition highlights. We present the benchmark suite and analyse the winning solutions, including one super-human performance demonstration. We propose our organizational insights for a successful competition and conclude on open research avenues. Given the challenge success, we expect our work will foster research to create more sustainable solutions for power network operations.

研究动机与目标

• 应对由于可再生能源整合与分布式发电带来的电力系统日益复杂化问题。
• 克服强化学习在电力系统运行中缺乏可访问、真实的基准与仿真器的困境。
• 通过创建共享、开源的研究与竞赛平台，促进人工智能与电力系统领域之间的协作。
• 实现对实时电力网络控制具有鲁棒性、适应性与可扩展性的强化学习智能体开发。
• 通过解决具有非局部效应的大规模、组合性与物理基础的决策问题，推动强化学习的前沿发展。

提出的方法

• 开发了开源的Grid2Op框架，可与真实电力网络仿真器（如pandapower）集成，以模拟真实的潮流动态。
• 设计了双轨竞赛机制：一轨聚焦于线路故障的鲁棒性，另一轨聚焦于可再生能源不确定性的适应性。
• 定义了一个具有高维离散动作空间的序列决策环境，包括拓扑控制与发电机再调度。
• 实现了基于生存时间、线路潮流限制与电能损耗最小化的奖励函数，并以“不作为”基线进行归一化处理。
• 为参赛者提供了全面的基准套件，包含反映现实电网挑战的多样化场景与扰动。
• 通过Codalab平台实现标准化排行榜评估，支持实时反馈与多目标评分。

实验结果

研究问题

• RQ1 强化学习智能体是否能在高比例可再生能源波动与故障事件下，实现超越人类水平的电力系统稳定性维持？
• RQ2 强化学习智能体在实时电力网络运行中，对大规模组合动作空间的导航效率如何？
• RQ3 像Grid2Op这样的开源框架在多大程度上降低了人工智能研究人员进入电力系统领域的门槛？
• RQ4 在复杂、基于物理信息的电网环境中，表现最优的强化学习智能体的关键行为模式与鲁棒性特征是什么？
• RQ5 如何构建多目标评估体系（安全性、成本、适应性），以激励电网运行智能体在安全与效率之间取得平衡？

主要发现

• 来自百度的RlAgent智能体在无需电力系统领域先验知识的情况下，在鲁棒性与适应性双赛道均实现了超越人类的表现。
• 顶尖智能体展示了能够维持系统在强扰动下稳定运行的长时域决策序列，表明其具备高度的韧性。
• 没有智能体获得全部20/100的额外积分以优化电能损耗，表明成本最小化任务远比生存能力更具挑战性。
• 基于“不作为”生存时间的奖励塑造有时过于严厉，表明未来迭代中需采用更柔和的归一化方式。
• Grid2Op框架成功吸引了超过300名全球参与者，证明其在弥合人工智能与电力系统研究之间的鸿沟方面具有显著成效。
• 该挑战揭示当前强化学习智能体更优先考虑安全性而非效率，凸显未来基准设计中需引入更优的多目标激励机制。