[논문 리뷰] Reinforcement Learning for Distributed Transient Frequency Control with Stability and Safety Guarantees

Zhenyi Yuan, Changhong Zhao외 1명|arXiv (Cornell University)|2022. 07. 07.

Power System Optimization and Stability인용 수 5

한 줄 요약

이 논문은 전력 시스템을 위한 안정성과 일시적 주파수 안전성을 보장하는 강화학습(RL)-기반 분산 일시적 주파수 제어 방법을 제안한다. 라플라스 및 안전 중심 제어 프레임워크 내에서 동적 예산 할당 메커니즘을 도입함으로써, 더 보수적인 안정성 조건을 허용하여 신경망 제어기를 RL을 통해 주파수 편차와 제어 비용을 최소화하면서도 전체 시스템의 안전성과 안정성을 보장할 수 있도록 한다. IEEE 39-bus 시험 케이스에서 성능을 입증하였다.

ABSTRACT

This paper proposes a reinforcement learning-based approach for optimal transient frequency control in power systems with stability and safety guarantees. Building on Lyapunov stability theory and safety-critical control, we derive sufficient conditions on the distributed controller design that ensure the stability and transient frequency safety of the closed-loop system. Our idea of distributed dynamic budget assignment makes these conditions less conservative than those in recent literature, so that they can impose less stringent restrictions on the search space of control policies. We construct neural network controllers that parameterize such control policies and use reinforcement learning to train an optimal one. Simulations on the IEEE 39-bus network illustrate the guaranteed stability and safety properties of the controller along with its significantly improved optimality.

연구 동기 및 목표

• 저관성 전력 시스템에서 일시적 주파수 조절을 위한 분산 제어 정책을 설계하여 안정성과 일시적 주파수 안전성을 모두 보장한다.
• 분산 동적 예산 할당 메커니즘을 도입하여 안정성 및 안전성 제약의 보수성을 감소시킨다.
• 강화학습을 활용하여 주파수 편차와 제어 비용을 최적화하면서도 안정성 및 안전성 제약을 만족하는 신경망 제어기를 학습시킨다.
• 완전한 정보와 부분 정보 모두에서 IEEE 39-bus 시스템에서 제안된 방법을 검증한다.
• 제어기 설계 시 리프시츠 정규화를 적용하여 측정 노이즈에 대한 내성을 향상시킨다.

제안 방법

• 안정성 및 안전성 제약 하에 주파수 편차와 제어 비용을 최소화하는 최적화 문제로 일시적 주파수 제어 문제를 수립한다.
• 라플라스 안정성 이론과 안전 중심 제어를 활용하여 안정성 및 일시적 안전성에 대한 충분조건을 도출하며, 이를 버스별 분산 예산 제약 조건으로 표현한다.
• 장애물 부담을 버스 간에 공유하면서도 전체 시스템의 안정성과 안전성을 유지할 수 있도록 동적 예산 할당 메커니즘을 도입한다.
• 안정성 및 안전성 조건에서 유도된 구조적 제약 조건을 갖춘 신경망 제어기를 구성하여 정책의 실현 가능성을 보장한다.
• 성능과 비용을 균형 잡는 보상 함수를 사용하여 순환 신경망(RNN)-기반 강화학습 프레임워크를 활용해 제어기 파라미터를 학습시킨다.
• RL 학습 과정에서 리프시츠 정규화를 적용하여 주파수 측정 노이즈에 대한 내성을 향상시킨다.

실험 결과

연구 질문

• RQ1 전력 시스템에서 분산 강화학습 제어기를 설계하여 점근적 안정성과 일시적 주파수 안전성을 동시에 보장할 수 있는가?
• RQ2 분산 예산 할당 메커니즘을 통해 안정성 및 안전성 제약의 보수성을 어떻게 감소시킬 수 있는가?
• RQ3 비용, 수렴 속도, 일시적 성능 측면에서 제안된 방법이 기존의 RL 및 제어 기반 접근법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 장애물 위치가 부분적으로 또는 알려지지 않은 상태에서 제어기는 어떻게 성능을 발휘하는가?
• RQ5 리프시츠 정규화는 RL 기반 제어기의 주파수 측정 노이즈에 대한 내성을 향상시킬 수 있는가?

주요 결과

• 제안된 RLb 방법은 점근적 안정성과 일시적 주파수 안전성을 모두 보장하며, 비용이 1.1628로 [5]의 방법보다 유의미하게 낮다 (비용: 2.2054).
• RLb 방법은 안전성 강화 덕분에 [5]의 방법보다 더 빠른 수렴 속도와 더 작은 일시적 주파수 변동을 달성한다. 비록 [9]의 방법보다 비용은 높지만, 안전성 확보로 인한 성능 향상이 뚜렷하다.
• 동적 예산 할당 메커니즘은 수렴 시 개별 버스의 예산이 사라지지만 총합은 0을 유지함으로써 제어 노력의 감소를 통한 협업 조절을 가능하게 한다.
• 부분적 장애 정보 상황(RLb*)에서도 비용이 1.1721로 안정성과 안전성을 유지하며, 장애 위치에 대한 불확실성에 대한 강건성을 입증한다.
• 리프시츠 정규화는 측정 노이즈 하에서 상태 및 제어 변동을 감소시켜 내성을 향상시키며, 안정성 및 안전성에 영향을 주지 않으면서도 성능을 향상시킨다.
• IEEE 39-bus 시스템에서의 시뮬레이션 결과, RLb 제어기는 엄격한 안정성 및 안전성 보장을 충족하면서도 뛰어난 최적성을 확보함을 확인하였다.