[논문 리뷰] Safe Reinforcement Learning for Power System Control: A Review

Peipei Yu, Zhenyi Wang외 2명|arXiv (Cornell University)|2024. 06. 30.

Elevator Systems and Control인용 수 5

한 줄 요약

이 논문은 안전 강화학습(Safe RL) 기술의 최첨단과 이를 전력 시스템 제어에 적용하는 방법을 조사하고, 주파수 규제, 전압 제어, 에너지 관리에서 안전 RL을 설계하는 데 필요한 아키텍처, 방법, 도전과제를 개요한다.

ABSTRACT

The large-scale integration of intermittent renewable energy resources introduces increased uncertainty and volatility to the supply side of power systems, thereby complicating system operation and control. Recently, data-driven approaches, particularly reinforcement learning (RL), have shown significant promise in addressing complex control challenges in power systems, because RL can learn from interactive feedback without needing prior knowledge of the system model. However, the training process of model-free RL methods relies heavily on random decisions for exploration, which may result in ``bad" decisions that violate critical safety constraints and lead to catastrophic control outcomes. Due to the inability of RL methods to theoretically ensure decision safety in power systems, directly deploying traditional RL algorithms in the real world is deemed unacceptable. Consequently, the safety issue in RL applications, known as safe RL, has garnered considerable attention in recent years, leading to numerous important developments. This paper provides a comprehensive review of the state-of-the-art safe RL techniques and discusses how these techniques can be applied to power system control problems such as frequency regulation, voltage control, and energy management. We then present discussions on key challenges and future research directions, related to convergence and optimality, training efficiency, universality, and real-world deployment.

연구 동기 및 목표

• 안전 RL 기법과 이들의 이론적 기초에 대한 구조적 개요를 제공한다.
• 안전 RL이 전력 시스템 제어 문제(주파수 조정, 전압 제어, 에너지 관리)에 어떻게 통합될 수 있는지 요약한다.
• 전력 시스템에서의 안전 RL에 대한 실용적 설계 선택을 분석하고 주요 도전과제와 향후 방향을 식별한다.

제안 방법

• 안전 RL의 두 가지 주요 범주: 안전 계층(action replacement/projection)과 CMDP를 통한 정책 최적화의 변환.
• 안전 계층 설계에는 action replacement, shielding, 및 action projection 방법들(CBF, MPC, 매개변수화된 모델)이 포함된다.
• 정책 최적화는 기대 비용에 제약을 두는 CMDP로 확장되며, 라그랑주 승수(lagrange multipliers)나 대안적 위험 인식 형태가 사용된다.
• 훈련과 배치 중 안전 보장을 어떻게 통합하는지에 대한 모델 기반 대 모델 프리 구성요소의 논의.

실험 결과

연구 질문

• RQ1 안전 RL 기법을 전력 시스템 제어 문제(주파수 규제, 전압 제어, 에너지 관리)에 어떻게 통합할 수 있는가?
• RQ2 훈련 및 작동에서 안전을 보장하기 위한 안전 계층 접근 방식과 제약된 정책 최적화 간의 주요 설계 선택 및 트레이드오프는 무엇인가?
• RQ3 전력 시스템에서의 수렴성, 효율성, 범용성 및 실제 적용에서의 안전 RL의 도전과제는 무엇인가?
• RQ4 스마트 그리드의 실용적 응용과 향후 연구 방향에 대해 안전 RL 기법은 어떤 방향을 제시하는가?

주요 결과

• 전력 시스템에 적합한 안전 RL 기법의 포괄적 분류체계를 제공하고, 안전 계층을 제약된 정책 최적화와 구분한다.
• action replacement, shielding, 및 action projection(CBF, MPC, 매개변수화된 모델)이 RL 훈련 및 실행 중에 안전을 보장하는 방법을 상세히 설명한다.
• 소프트 안전 제약과 위험 인식을 반영한 목표를 다루기 위한 CMDP 형식과 Lagrange 승수 접근법을 설명한다.
• MPC 기반 방법은 시스템 모델에 의존하고 불확실성에 대한 강건성이 부족할 수 있으며, 반면 CBF는 안전 집합 및 배리어 함수의 신중한 설계가 필요하다고 강조한다.
• 수렴 보장, 학습 효율성, 다양한 시나리오에 대한 일반성, 실제 적용 고려사항 등 주요 도전과제를 식별한다.