[논문 리뷰] Reinforcement Learning for Optimal Frequency Control: A Lyapunov Approach

Wenqi Cui, Baosen Zhang|arXiv (Cornell University)|2020. 09. 11.

Microgrid Control and Optimization참고 문헌 64인용 수 9

한 줄 요약

이 논문은 순환 신경망을 사용하여 안정적인 비선형 주파수 제어기를 설계하기 위한 라플라스 함수 제약을 부여한 강화학습 프레임워크를 제안한다. 제어기 아키텍처에 라플라스 함수를 통합함으로써 안정성은 설계 단계에서 보장되며, 국소적 측정 자료만을 사용함으로써 선형 드루프 및 최신 강화학습 방법보다 뛰어난 성능을 달성한다.

ABSTRACT

The increase in penetration of inverter-based resources provides us with more flexibility in frequency regulation compared to conventional linear droop controllers. Using their power electronic interfaces, inverter-based resources can realize almost arbitrary responses to frequency changes. Reinforcement learning (RL) has emerged as a popular method to design these nonlinear controllers to optimize a host of objective functions. The key challenge with RL-based approaches is how to enforce the constraint that the learned controller should be stabilizing. In addition, training these controllers is nontrivial because of the time-coupled dynamics of power systems. In this paper, we propose to explicitly engineer the structure of neural network-based controllers such that they guarantee system stability by design. This is done by constraining the network structures using a well-known Lyapunov function. A recurrent RL architecture is used to efficiently train the controllers. The resulting controllers only use local information and outperform linear droop as well as controllers trained using existing state-of-the-art learning approaches.

연구 동기 및 목표

• 고인버터 비율이 높은 전력 시스템에서 강화학습 기반 주파수 제어기의 안정성을 보장하는 데 도전하는 것.
• 전력 시스템의 시간에 따라 연관된 동역학으로 인해 강화학습 제어기의 학습이 어려운 문제를 해결하는 것.
• 후행 안정성 검증이나 광범위한 초모수 조정에 의존하지 않고도 시스템 안정성을 보장하는 제어기를 설계하는 것.
• 기존의 선형 드루프 및 기존의 강화학습 기반 접근법보다 뛰어나면서도 국소 측정 자료만을 사용하는 방법을 개발하는 것.
• 신경망 구조를 통해 비선형적이고 적응형 제어 응답을 가능하게 하되, 본질적으로 안정적인 특성을 지닌 제어기 설계

제안 방법

• 주파수 조정에서 시간적 동역학을 포착하고 장기적 계획을 가능하게 하기 위해 제어기를 순환 신경망으로 설계한다.
• 학습 과정 중 안정성 제약을 강제하기 위해 라플라스 함수를 신경망 아키텍처에 명시적으로 통합한다.
• 신경망의 구조가 라플라스 함수의 도함수가 음의 준정부적으로 유지되도록 제약되며, 이는 점근적 안정성을 보장한다.
• 정착 시간과 오버슈트와 같은 주파수 조정 목표를 최적화하는 보상 함수를 사용하여 정책을 강화학습으로 학습시킨다.
• 단지 국소 주파수 측정 자료만을 사용하므로, 분배 수준의 인버터 기반 자원에 대해 확장 가능하고 실용적인 방법이다.
• 학습 과정에서 순환 연결을 통해 시간적 신용 할당을 활용함으로써, 시간에 따라 연관된 시스템에서의 샘플 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 외부 안정성 검증에 의존하지 않고도 강화학습 기반 제어기가 시스템 안정성을 보장할 수 있는가?
• RQ2 라플라스 이론을 딥 강화학습 아키텍처에 통합하여 설계 단계에서 안정성을 보장할 수 있는가?
• RQ3 국소 정보만을 사용하는 순환 강화학습 제어기가 선형 드루프 및 기존의 강화학습 방법보다 주파수 조정에서 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 학습 및 운영 중에 제안된 방법은 전력 시스템 동역학의 시간에 따라 연관된 특성을 어떻게 다루는가?
• RQ5 신경망 구조에 라플라스 함수를 통합함으로써 제어기 성능과 수렴성에 어떤 영향을 미치는가?

주요 결과

• 제안된 제어기는 신경망 아키텍처에 라플라스 함수를 명시적으로 통합함으로써 설계 단계에서 시스템 안정성을 보장한다.
• 순환 강화학습 아키텍처는 시간에 따라 연관된 동역학을 효과적으로 학습하여 일시적 주파수 사건에서 제어 성능을 향상시킨다.
• 다양한 교란 상황에서 주파수 편차, 정착 시간, 오버슈트 측면에서 선형 드루프 제어기보다 뛰어난 성능을 발휘한다.
• 특히 비선형 반응 처리 및 안정성 유지 능력에서 최신 강화학습 기반 제어기보다 더 뛰어난 성능을 달성한다.
• 국소 주파수 측정 자료만을 사용하므로 분포망에서 탈중앙화된 배포가 가능하다.
• 라플라스 제약을 적용함으로써 제약이 없는 강화학습 접근법에 비해 학습 안정성과 수렴성이 크게 향상된다.