[논문 리뷰] Proximal Policy Optimization with Graph Neural Networks for Optimal Power Flow

Ángela López-Cardona, Guillermo Bernárdez외 2명|arXiv (Cornell University)|2022. 12. 23.

Optimal Power Flow Distribution인용 수 6

한 줄 요약

이 논문은 비볼록인 교류 최적 부하 흐름(ACOPF) 문제를 해결하기 위해 그래프 신경망(GNN)을 통합한 새로운 프록시멀 정책 최적화(PPO) 프레임워크를 제안한다. 전력망의 구조를 모델링하기 위해 GNN을 활용하고, 최적의 제어 정책을 학습하기 위해 PPO를 사용함으로써, 새로운 네트워크 구성에 일반화되며, 부하 변화 상황에서 DCOPF 기준 대비 비용 성능이 1.38배 이내를 유지하고, 최대 8개의 줄을 제거한 후에도 타당성을 유지한다.

ABSTRACT

Optimal Power Flow (OPF) is a very traditional research area within the power systems field that seeks for the optimal operation point of electric power plants, and which needs to be solved every few minutes in real-world scenarios. However, due to the nonconvexities that arise in power generation systems, there is not yet a fast, robust solution technique for the full Alternating Current Optimal Power Flow (ACOPF). In the last decades, power grids have evolved into a typical dynamic, non-linear and large-scale control system, known as the power system, so searching for better and faster ACOPF solutions is becoming crucial. Appearance of Graph Neural Networks (GNN) has allowed the natural use of Machine Learning (ML) algorithms on graph data, such as power networks. On the other hand, Deep Reinforcement Learning (DRL) is known for its powerful capability to solve complex decision-making problems. Although solutions that use these two methods separately are beginning to appear in the literature, none has yet combined the advantages of both. We propose a novel architecture based on the Proximal Policy Optimization algorithm with Graph Neural Networks to solve the Optimal Power Flow. The objective is to design an architecture that learns how to solve the optimization problem and that is at the same time able to generalize to unseen scenarios. We compare our solution with the DCOPF in terms of cost after having trained our DRL agent on IEEE 30 bus system and then computing the OPF on that base network with topology changes

연구 동기 및 목표

• 현대적이고 동적인 전력 시스템에서 빠르고 강건하며 일반화 가능한 전체 ACOPF 솔루션의 부족을 해결한다.
• 중하중 또는 비볼록 조건에서 실패하는 전통적인 수치적 방법과 선형화된 DCOPF 근사치의 한계를 극복한다.
• 전력망의 구조적 정보를 활용해 일반화 능력을 향상시키기 위해 그래프 신경망(GNN)과 딥 강화학습(DRL)을 통합한다.
• 다양하고 새로운 네트워크 구조에 걸쳐 운영 제약 조건을 준수하면서도 부하 흐름을 최적화하는 DRL 에이전트를 개발한다.
• 부하 변화, 선 제거, 네트워크 구조 변화 상황에서 IEEE 30-bus 시스템에서 제안된 아키텍처의 타당성과 성능을 입증한다.

제안 방법

• 노드에 버스 정보(예: 부하, 발전, 전압)를 포함하고 간선에 전력 전송선을 포함하는 그래프로 표현된 전력망 상태를 기반으로 PPO 기반 DRL 에이전트를 훈련한다.
• GNN을 사용해 그래프 구조를 인코딩하고 버스 간 정보를 전파함으로써, 에이전트가 네트워크 구조와 부하 흐름 역학을 이해할 수 있도록 한다.
• 상태 공간에 전력 주입량, 전압 크기, 선 흐름을 포함하고 행동 공간을 발전기 실력 설정값으로 정의한 강화학습 환경을 정의한다.
• 제약 위반(예: 전압 한계, 선 흐름)에 대한 페널티를 부여하고 총 발전 비용을 최소화하는 보상 함수를 설계한다.
• 다양한 부하 조건에서 기반 IEEE 30-bus 시스템에서 훈련하고, 수정된 네트워크 구조(부하 변화, 선 제거)에서 일반화 능력을 검증한다.
• 공유 인코더(GNN)를 상태 표현에 사용하고 정책 헤드를 행동 선택에 사용하며, PPO의 클리핑된 목적함수를 통해 안정적인 훈련을 보장한다.

실험 결과

연구 질문

• RQ1 GNN 기반 상태 표현을 갖는 PPO 에이전트는 타당성과 낮은 비용을 유지하면서도 새로운 전력망 구조에 일반화될 수 있는가?
• RQ2 부하 변화 및 네트워크 수정 상황에서 제안된 PPO-GNN 방법의 성능은 표준 DCOPF 근사치와 비교해 어떻게 되는가?
• RQ3 ACOPF 문제에서 비그래프 기반 DRL 접근법에 비해 GNN 구성 요소가 일반화 능력을 얼마나 향상시키는가?
• RQ4 훈련 후 핵심 네트워크 구성 요소(예: 선 또는 부하)가 제거된 경우에도 방법이 강건한가?
• RQ5 에이전트는 제약 조건 준수에 대한 명시적 지도 없이도 모든 AC 부하 흐름 제약 조건을 준수하는 정책을 학습할 수 있는가?

주요 결과

• 부하가 0.1에서 0.4 푸르트 단위로 증가할 때, PPO-GNN 에이전트는 DCOPF 기준 대비 비용 성능 비율이 1.38로 나타나 부하 변화 상황에서 뛰어난 일반화 능력을 보였다.
• 최대 50%의 부하가 제거된 후에도 에이전트의 비용은 DCOPF 기준 대비 1.05배 이내를 유지하여 부하 변화에 강건함을 입증했다.
• 8개의 선(총선수의 26.7%)을 제거한 후에도 에이전트는 DCOPF 대비 비용 성능 비율이 1.51을 유지하며 네트워크 구조 변화에 대한 내성적 저항력을 보였다.
• 2~5개의 부하가 제거된 경우, 에이전트는 DCOPF와 동일하거나 약간 뛰어난 성능을 보이며 비율이 1.00 이하를 기록하여 높은 타당성과 효율성을 입증했다.
• 선 제거와 같은 새로운 네트워크 구조에 대해 효과적으로 일반화되었으며, 8개의 선이 제거된 경우에만 성능 저하가 두드러지게 나타나 극단적인 구조적 변화에 대한 일반화의 한계를 보였다.
• GNN과 PPO의 통합은 전력망 내의 구조적 종속성을 학습할 수 있도록 하여, 비그래프 기반 DRL 방법보다 더 뛰어난 일반화 능력을 제공했다.