[论文解读] AI-Based Autonomous Line Flow Control via Topology Adjustment for Maximizing Time-Series ATCs

Tu Lan, Jiajun Duan+5 more|arXiv (Cornell University)|Nov 8, 2019

Power System Optimization and Stability参考文献 13被引用 15

一句话总结

本文提出了一种由人工智能驱动的自主拓扑控制框架，通过深度强化学习（DRL）结合模仿学习和一种新型引导探索策略，最大化电力系统中的时间序列可用转移能力（ATC）。该方法在2019年L2RPN竞赛中获得第一名，实现了无需人工干预的、稳健的、连续的、为期一个月的电网运行，获胜的智能体已开源至GitHub。

ABSTRACT

This paper presents a novel AI-based approach for maximizing time-series available transfer capabilities (ATCs) via autonomous topology control considering various practical constraints and uncertainties. Several AI techniques including supervised learning and deep reinforcement learning (DRL) are adopted and improved to train effective AI agents for achieving the desired performance. First, imitation learning (IL) is used to provide a good initial policy for the AI agent. Then, the agent is trained by DRL algorithms with a novel guided exploration technique, which significantly improves the training efficiency. Finally, an Early Warning (EW) mechanism is designed to help the agent find good topology control strategies for long testing periods, which helps the agent to determine action timing using power system domain knowledge; thus, effectively increases the system error-tolerance and robustness. Effectiveness of the proposed approach is demonstrated in the "2019 Learn to Run a Power Network (L2RPN)" global competition, where the developed AI agents can continuously and safely control a power grid to maximize ATCs without operator's intervention for up to 1-month's operation data and eventually won the first place in both development and final phases of the competition. The winning agent has been open-sourced on GitHub.

研究动机与目标

• 开发一种自主AI智能体，以在真实世界约束和不确定性下最大化电力系统中的时间序列可用转移能力（ATC）。
• 通过整合模仿学习和引导探索，提升复杂电力系统控制中强化学习智能体的训练效率和鲁棒性。
• 通过融合领域知识的早期预警（EW）机制，实现长期、安全、连续的电网运行，无需人工干预。
• 通过参与2019年Learn to Run a Power Network（L2RPN）全球竞赛，在真实世界基准中验证该方法。
• 将获胜的AI智能体开源，以促进更广泛的研究与工业应用。

提出的方法

• 使用模仿学习（IL）对AI智能体进行预训练，利用专家示范提供强初始策略，加快收敛速度。
• 采用深度强化学习（DRL）进行端到端策略优化，并引入一种新型引导探索技术，以加速训练并提升样本效率。
• 结合电力系统领域知识，集成早期预警（EW）机制，以预测系统压力并指导动作时机，增强鲁棒性和容错能力。
• AI智能体通过动态调整输电线路拓扑（如线路投切）来控制有功潮流，并在时间序列运行中最大化ATC。
• 该框架在2019年L2RPN竞赛数据集上进行训练与评估，模拟真实电网动态和预想故障。
• 最终智能体已开源至GitHub，支持可复现性及进一步研究。

实验结果

研究问题

• RQ1 AI智能体能否仅通过拓扑控制，在无任何人工干预的情况下自主最大化电力系统中的时间序列ATC？
• RQ2 模仿学习与引导探索如何提升复杂电力系统控制中DRL的样本效率与收敛性能？
• RQ3 通过早期预警机制引入领域特定知识，在多大程度上提升了AI智能体的鲁棒性与容错能力？
• RQ4 在真实系统不确定性下，AI智能体能否在长时间序列运行（如一个月）中保持稳定且最优的性能？
• RQ5 在基准竞赛中，该方法与现有方法相比，在ATC最大化与运行安全性方面表现如何？

主要发现

• 所提出的AI智能体在2019年L2RPN全球竞赛的开发阶段与最终阶段均获得第一名，超越所有其他参赛者。
• 该智能体成功实现了长达一个月的连续电网控制，无需人工干预，展示了长期运行的稳定性。
• 模仿学习与引导探索的结合显著缩短了训练时间，并提升了策略收敛性能，优于标准DRL方法。
• 早期预警机制通过实现及时的拓扑调整，显著增强了系统鲁棒性，降低了越限与系统不稳定的风险。
• 获胜智能体已开源至GitHub，支持研究与工业界复现与采用。
• 该框架在遵守运行约束与系统安全限值的前提下，有效最大化时间序列ATC。