[논문 리뷰] Wide Area Measurement System-based Low Frequency Oscillation Damping Control through Reinforcement Learning

Yousaf Hashmy, Zhe Yu외 2명|arXiv (Cornell University)|2020. 01. 22.

Power System Optimization and Stability참고 문헌 25인용 수 5

한 줄 요약

이 논문은 통신 지연과 재생 가능 에너지의 불확실성 하에서 전력 시스템의 저주파수 진동을 완화하기 위해 위상 측정 장치(PMU) 데이터를 사용하는 강화학습(RL)-기반 광역 감쇠 제어 전략을 제안한다. 딥 디터민리스틱 정책 그래디언트(DDPG)와 정책 그래디언트 최적화를 활용함으로써, 다양한 통신 채널과 높은 재생 가능 에너지 비율 환경에서도 강인하고 확장 가능하며 해석 가능한 감쇠 성능을 달성하였으며, 정밀한 시스템 모델에 의존하지 않고도 동적인 시스템 환경과의 상호작용을 통해 최적의 제어 정책을 학습함으로써 전통적인 PID 및 네트워크 기반 예측 제어보다 뛰어난 성능을 발휘한다.

ABSTRACT

Ensuring the stability of power systems is gaining more attraction today than ever before, due to the rapid growth of uncertainties in load and renewable energy penetration. Lately, wide area measurement system-based centralized controlling techniques started providing a more flexible and robust control to keep the system stable. But, such a modernization of control philosophy faces pressing challenges due to the irregularities in delays of long-distance communication channels and response of equipment to control actions. Therefore, we propose an innovative approach that can revolutionize the control strategy for damping down low frequency oscillations in transmission systems. Proposed method is enriched with a potential of overcoming the challenges of communication delays and other non-linearities in wide area damping control by leveraging the capability of the reinforcement learning technique. Such a technique has a unique characteristic to learn on diverse scenarios and operating conditions by exploring the environment and devising an optimal control action policy by implementing policy gradient method. Our detailed analysis and systematically designed numerical validation prove the feasibility, scalability and interpretability of the carefully modelled low-frequency oscillation damping controller so that stability is ensured even with the uncertainties of load and generation are on the rise.

연구 동기 및 목표

• 재생 가능 에너지 통합 증가와 부하 불확실성으로 인한 현대 전력 시스템에서의 저주파수 진동 증가 문제에 대응한다.
• 기존의 중심집중식 광역 감쇠 제어의 한계를 극복하며, 특히 변동하는 통신 지연과 장비 응답의 비선형성에 민감한 문제를 해결한다.
• 정확한 시스템 모델에 의존하지 않고도 동적인 시스템 환경과의 상호작용을 통해 최적의 제어 정책을 학습할 수 있는 강인하고 적응형 제어 전략을 개발한다.
• 마이크로파, 섬유 옹도, 위성, 송전선 통신 등 다양한 통신 채널과 확률적 지연 조건에서도 시스템의 안정성과 관측 가능성을 확보한다.
• 고재생 가능 에너지 비율을 가진 대규모 비선형 전력 시스템에서 강화학습 기반 제어의 확장성과 실시간 적용 가능성을 입증한다.

제안 방법

• 광역 측정 시스템(WAMS)의 PMU 데이터를 활용하여 제어 결정을 위한 실시간이고 전체 시스템 범위의 상태 정보를 제공한다.
• 시스템 상태를 최적의 제어 조치로 매핑하는 확률적 제어 정책을 학습하기 위해 딥 디터민리스틱 정책 그래디언트(DDPG) 강화학습을 적용한다.
• 고차원 상태 공간에서 연속적인 제어 조치를 처리하기 위해 딥 신경망을 함수 근사기로 사용하고 정책 그래디언트 최적화를 적용한다.
• 장거리 신호 전송의 현실적인 불확실성을 반영하기 위해 통신 지연을 가우시안 혼합 모델로 모델링한다.
• 진동 진폭과 정상 주파수에서의 편차를 벌금으로 삼는 보상 함수를 설계하여 신속한 감쇠와 시스템 안정성을 유도한다.
• 다양한 재생 가능 에너지 비율과 통신 채널 유형에서 다기계 전력 시스템 모델을 사용하여 컨트롤러의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 변동하는 통신 지연 조건에서 대규모 전력 시스템의 저주파수 진동을 효과적으로 감쇠할 수 있는 강화학습 기반 컨트롤러가 가능한가?
• RQ2 고재생 가능 에너지 비율과 불확실한 지연 조건 하에서 전통적인 PID 및 네트워크 기반 예측 제어(NPC)와 비교해 본다면, 제안된 RL 컨트롤러의 성능은 어떠한가?
• RQ3 다양한 운영 조건과 확률적 지연 조건을 탐색함으로써 RL 에이전트가 얼마나 강인한 제어 정책을 학습하는가?
• RQ4 마이크로파, 섬유 옹도, 위성, 송전선 통신 등 다양한 통신 매체에서 DDPG 기반 컨트롤러는 안정성과 성능을 유지하는가?
• RQ5 고정된 지연 시간과 비교해 불확실한 지연 조건 하에서 학습 시간과 강인성 사이의 상충 관계는 어떠한가?

주요 결과

• DDPG 기반 RL 컨트롤러는 고재생 가능 에너지 비율 조건에서 마이크로파, 섬유 옹도, 위성, 송전선 통신 등 모든 통신 채널에서 저주파수 진동을 성공적으로 감쇠시켰다.
• PID 및 NPC 컨트롤러는 송전선 통신 지연 조건에서 진동이 점점 커지며 시스템을 안정화하지 못했지만, RL 컨트롤러는 안정성을 유지하고 완전한 감쇠를 달성했다.
• 가우시안 혼합 모델로 모의된 변동 지연 조건 하에서 RL 에이전트는 더 많은 학습 에피소드가 필요로 했지만, 고정 지연 조건 대비 뛰어난 강인성과 일반화 능력을 확보했다.
• 모든 테스트 케이스에서 PID 및 NPC보다 우수한 성능을 보였으며, 특히 높은 불확실성 조건에서 빠른 감쇠를 달성했고, 마이크로파 및 섬유 옹도 링크에서는 신속한 감쇠를, 위성 및 송전선 통신 채널에서는 안정적인 성능을 유지했다.
• 이 방법은 확장성과 해석 가능성을 입증하였으며, 통신 지연과 재생 가능 에너지 생산의 불확실성이 심한 조건에서도 시스템의 관측 가능성과 안정성을 유지했다.
• 결과적으로 강화학습 기반 컨트롤러는 비선형성, 모델 불확실성, 확률적 지연에 대해 뛰어난 내성성을 보이며, 실세계 광역 감쇠 제어 응용에 적합함을 확인했다.