[논문 리뷰] Scalable Voltage Control using Structure-Driven Hierarchical Deep Reinforcement Learning

Sayak Mukherjee, Renke Huang외 3명|arXiv (Cornell University)|2021. 01. 29.

Power System Optimization and Stability참고 문헌 19인용 수 8

한 줄 요약

이 논문은 전력망에서 확장 가능한 비상 전압 제어를 위한 구조 기반 계층적 강화학습(DRL) 프레임워크를 제안한다. 전력망을 영역으로 분해하고, 병렬로 분산된 하위 수준 DRL 에이전트를 훈련하며, 개선된 증강 랜덤 서치를 사용해 행동을 조율하는 고위 수준 조정자(코ordinating agent)를 통해, 중심 집중 훈련 대비 약 60%의 훈련 시간 단축을 이룬다. 이는 다양한 고장 시나리오에서 중심 집중 훈련과 유사하거나 더 우수한 전압 복구 성능을 달성한다.

ABSTRACT

This paper presents a novel hierarchical deep reinforcement learning (DRL) based design for the voltage control of power grids. DRL agents are trained for fast, and adaptive selection of control actions such that the voltage recovery criterion can be met following disturbances. Existing voltage control techniques suffer from the issues of speed of operation, optimal coordination between different locations, and scalability. We exploit the area-wise division structure of the power system to propose a hierarchical DRL design that can be scaled to the larger grid models. We employ an enhanced augmented random search algorithm that is tailored for the voltage control problem in a two-level architecture. We train area-wise decentralized RL agents to compute lower-level policies for the individual areas, and concurrently train a higher-level DRL agent that uses the updates of the lower-level policies to efficiently coordinate the control actions taken by the lower-level agents. Numerical experiments on the IEEE benchmark 39-bus model with 3 areas demonstrate the advantages and various intricacies of the proposed hierarchical approach.

연구 동기 및 목표

• 대규모 전력망의 전압 제어에서 중심 집중 및 분산 강화학습의 한계를 해결하기 위해, 느린 훈련, 낮은 확장성, 조율 부족 문제를 해결한다.
• 전력 시스템의 자연스러운 영역 기반 구조를 활용해 효율적인 훈련과 구현을 가능하게 하는 확장 가능하고 모odu lar한 DRL 아키텍처를 개발한다.
• 다양한 고장 조건 하에서 전압 복구 성능을 유지하거나 향상시키면서도 훈련 시간을 크게 단축시킨다.
• 정확한 시스템 모델에 의존하지 않고도 안정적인 적응형 비상 부하 절단을 가능하게 하여 다양한 정전 사태 상황에서도 전압 안정성을 확보한다.
• IEEE 39-bus 시스템에서 여러 고장 시나리오를 대상으로 본 연구를 검증하여, 훈련에 포함되지 않은 고장 유형에도 일반화 가능함을 입증한다.

제안 방법

• 프레임워크는 하위 수준 에이전트가 사전 정의된 전력망 영역 내에서 독립적으로 작동하는 이중 수준의 계층적 DRL 아키텍처를 사용한다. 하위 수준 에이전트는 지역 전압 복구 정책을 학습한다.
• 고위 수준 조정자 에이전트는 하위 수준 에이전트의 정책 업데이트를 활용하여 영역 간 제어 행동을 지능적으로 선택하고 조율한다.
• 하위 수준 및 고위 수준 DRL 에이전트의 효율적 훈련을 위해 개선된 제약 조건이 있는 증강 랜덤 서치(CARS) 알고리즘의 변형을 사용한다.
• 하위 수준 에이전트는 각 영역당 9개의 고장 시나리오를 사용해 병렬로 훈련되며, 훈련 중 실시간으로 정책 업데이트를 조정자에게 전달한다.
• 조정자는 하위 수준 에이전트와 동시에 훈련되며, 시뮬레이션 시간을 줄이기 위해 고장 롤아웃의 일부 집합(세 가지 고장 지속 시간: 0, 0.05, 0.08초)만을 사용한다.
• 하위 수준 훈련을 분리하고 영역 기반 분할(구조적 클러스터링)을 통해 계층 구조를 강제함으로써 다중 에이전트 강화학습에서 발생하는 비정적 문제를 회피한다.

실험 결과

연구 질문

• RQ1 계층적 DRL 프레임워크는 중심 집중 DRL에 비해 유사하거나 더 우수한 전압 복구 성능을 달성하면서도 훈련 시간을 줄일 수 있는가?
• RQ2 분산된 하위 수준 에이전트와 고위 수준 조정자 간의 조율이 다양한 고장 조건 하에서 전압 안정성을 어떻게 향상시키는가?
• RQ3 구조 기반 계층적 설계는 전체 중심 집중 훈련 대비 확장성 향상과 훈련 시간 단축에 얼마나 기여하는가?
• RQ4 제안된 방법은 훈련 세트에 포함되지 않은 고장 위치에 대해서도 일반화 가능한가?
• RQ5 훈련 중 하위 수준 정책 업데이트를 실시간으로 공유할 경우, 고위 수준 조정자의 수렴성과 성능에 어떤 영향을 미치는가?

주요 결과

• 계층적 DRL 접근법은 총 훈련 시간을 2.29시간으로 단축하여 중심 집중 방법의 5.705시간 대비 약 60% 감소시켰다.
• 고위 수준 조정자는 모든 고장 시나리오에서 중심 집중 DRL 정책과 유사하거나 더 높은 평균 보상치를 달성했으며, 중심 집중 방법이 전압을 복구하지 못한 경우에도 성공적으로 복구했다.
• 비상 고장이 발생한 주요 고장 버스(예: 버스 15)의 경우, 계층적 설계가 안전 범위 내에서 전압을 복구했지만, 중심 집중 방법은 이를 달성하지 못했다.
• 본 방법은 우수한 일반화 성능를 보였으며, 훈련에 사용되지 않은 고장 버스에서도 안정적인 성능를 유지하여 정책의 일반화 능력을 확인했다.
• 하위 수준 정책 업데이트를 실시간으로 공유하면서 조정자 훈련을 수행한 결과, 수렴 속도가 빨라지고 보상치가 더 높아졌다.
• 하위 수준 에이전트의 영역 기반 분산 훈련 시간은 각각 영역 1, 2, 3에 대해 35.87분, 44.04분, 53.06분이었으며, 조정자 훈련은 2.26시간 내에 완료되었다.