[논문 리뷰] AI-Based Autonomous Line Flow Control via Topology Adjustment for Maximizing Time-Series ATCs

Tu Lan, Jiajun Duan외 5명|arXiv (Cornell University)|2019. 11. 08.

Power System Optimization and Stability참고 문헌 13인용 수 15

한 줄 요약

이 논문은 딥 강화학습(Deep Reinforcement Learning, DRL)에 의한 모방학습과 새로운 가이드드 탐색 전략을 통합하여 시간에 따라 변화하는 가용 전송 능력(Available Transfer Capability, ATC)을 최대화하는 AI 기반 자율적 위상 제어 프레임워크를 제안한다. 이 방법은 2019년 L2RPN 경쟁에서 1등을 차지했으며, 인간 간섭 없이 1개월 간 안정적이고 지속적인 전력망 운영을 실현하였다. 수상한 에이전트는 GitHub에 오픈소스로 공개되었다.

ABSTRACT

This paper presents a novel AI-based approach for maximizing time-series available transfer capabilities (ATCs) via autonomous topology control considering various practical constraints and uncertainties. Several AI techniques including supervised learning and deep reinforcement learning (DRL) are adopted and improved to train effective AI agents for achieving the desired performance. First, imitation learning (IL) is used to provide a good initial policy for the AI agent. Then, the agent is trained by DRL algorithms with a novel guided exploration technique, which significantly improves the training efficiency. Finally, an Early Warning (EW) mechanism is designed to help the agent find good topology control strategies for long testing periods, which helps the agent to determine action timing using power system domain knowledge; thus, effectively increases the system error-tolerance and robustness. Effectiveness of the proposed approach is demonstrated in the "2019 Learn to Run a Power Network (L2RPN)" global competition, where the developed AI agents can continuously and safely control a power grid to maximize ATCs without operator's intervention for up to 1-month's operation data and eventually won the first place in both development and final phases of the competition. The winning agent has been open-sourced on GitHub.

연구 동기 및 목표

• 실제 제약 조건과 불확실성을 고려하여 전력 시스템에서 시간에 따라 변화하는 가용 전송 능력(ATC)을 최대화하는 자율적 AI 에이전트를 개발하는 것.
• 모방학습과 가이드드 탐색을 통합하여 복잡한 전력 시스템 제어에서 강화학습 에이전트의 학습 효율성과 강건성을 향상시키는 것.
• 분야 지식 기반의 초기 경고(Early Warning, EW) 메커니즘을 통해 장기적이고 안전하며 지속적인 전력망 운영을 가능하게 하는 것.
• 2019년 Learn to Run a Power Network(L2RPN) 글로벌 경쟁에 참가하여 실제 기준에서 접근법을 검증하는 것.
• 더 넓은 연구 및 산업 응용을 위해 수상한 AI 에이전트를 오픈소스로 공개하는 것.

제안 방법

• 모방학습(IL)을 사용하여 전문가의 시연 데이터로 AI 에이전트를 사전 학습시켜 빠른 수렴을 위한 강력한 초기 정책을 제공한다.
• 딥 강화학습(DRL)을 사용하여 엔드 투 엔드 정책 최적화를 수행하며, 학습 속도 향상과 샘플 효율성 향상을 위한 새로운 가이드드 탐색 기법을 도입한다.
• 전력 시스템 분야 지식을 통합하여 초기 경고(EW) 메커니즘을 구현함으로써 시스템 스트레스를 사전 예측하고 행동 시기를 안내함으로써 강건성과 오류 내성 향상을 도모한다.
• AI 에이전트는 전력선 위상(예: 선로 스위칭)을 동적으로 조정하여 활동 전력 흐름을 제어하고 시간에 따라 변화하는 ATC를 최대화한다.
• 프레임워크는 2019년 L2RPN 경쟁 데이터셋을 기반으로 학습 및 평가되어 실제 전력망 동역학과 사고 상황을 시뮬레이션한다.
• 최종 에이전트는 GitHub에 오픈소스로 공개되어 재현 가능성과 향후 연구를 가능하게 한다.

실험 결과

연구 질문

• RQ1 AI 에이전트가 인간 간섭 없이 위상 제어만을 사용하여 전력 시스템에서 시간에 따라 변화하는 ATC를 자율적으로 최대화할 수 있는가?
• RQ2 모방학습과 가이드드 탐색은 복잡한 전력 시스템 제어에서 DRL의 샘플 효율성과 수렴 속도를 어떻게 향상시킬 수 있는가?
• RQ3 초기 경고 메커니즘을 통해 분야 특화 지식을 통합할 경우 AI 에이전트의 강건성과 오류 내성은 어느 정도 향상되는가?
• RQ4 AI 에이전트는 실제 시스템의 불확실성 하에서 시간에 따라 변화하는 장기 운영(예: 1개월) 동안 안정적이고 최적의 성능을 유지할 수 있는가?
• RQ5 기준 경쟁 대회에서 기존 접근법과 비교해 볼 때, 제안된 방법은 ATC 최대화 및 운영 안전성 측면에서 어떤 성과를 내는가?

주요 결과

• 제안된 AI 에이전트는 2019년 L2RPN 글로벌 경쟁의 개발 및 최종 단계에서 모두 1등을 차지하여 참가자 전원을 압도했다.
• 에이전트는 인간 간섭 없이 최대 1개월 간의 연속된 전력망 운영을 성공적으로 제어하여 장기적 안정성을 입증했다.
• 모방학습과 가이드드 탐색의 통합으로 표준 DRL 접근법 대비 학습 시간이 감소하고 정책 수렴이 향상되었다.
• 초기 경고 메커니즘이 시스템 강건성을 크게 향상시켜 시기적절한 위상 조정을 가능하게 하여 위반 및 시스템 불안정성의 위험을 감소시켰다.
• 수상한 에이전트는 GitHub에 오픈소스로 공개되어 재현 가능성과 연구 및 산업계의 활용을 가능하게 하였다.
• 프레임워크는 운영 제약 조건과 시스템 보안 한계를 준수하면서도 시간에 따라 변화하는 ATC를 효과적으로 최대화하였다.