[논문 리뷰] Resilient Load Restoration in Microgrids Considering Mobile Energy Storage Fleets: A Deep Reinforcement Learning Approach

Shuhan Yao, Jiuxiang Gu외 4명|arXiv (Cornell University)|2019. 11. 06.

Microgrid Control and Optimization참고 문헌 24인용 수 7

한 줄 요약

이 논문은 불확실한 부하 조건 하에서 복원력 있는 부하 복구를 위해 이동식 에너지 저장 플릿(MESSs)과 마이크로그리드 자원을 조율하기 위한 딥 강화학습(DRL) 기반 접근법을 제안한다. 마르코프 결정 과정(MDP)과 트윈 딜레이드 딥 디터미니스틱 정책 그라디언트(TD3)를 사용하여, 실시간으로 마이크로그리드 간에 MESSs를 공동으로 배치함으로써 각각 72.92%, 56.66%, 50.76%의 부하 복구율을 달성하며, 시스템의 복원력을 크게 향상시킨다.

ABSTRACT

Mobile energy storage systems (MESSs) provide mobility and flexibility to enhance distribution system resilience. The paper proposes a Markov decision process (MDP) formulation for an integrated service restoration strategy that coordinates the scheduling of MESSs and resource dispatching of microgrids. The uncertainties in load consumption are taken into account. The deep reinforcement learning (DRL) algorithm is utilized to solve the MDP for optimal scheduling. Specifically, the twin delayed deep deterministic policy gradient (TD3) is applied to train the deep Q-network and policy network, then the well trained policy can be deployed in on-line manner to perform multiple actions simultaneously. The proposed model is demonstrated on an integrated test system with three microgrids connected by Sioux Falls transportation network. The simulation results indicate that mobile and stationary energy resources can be well coordinated to improve system resilience.

연구 동기 및 목표

• 주요 정전 이후 마이크로그리드의 복원력 있는 서비스 복구 문제를 이동식 에너지 저장 시스템(MESSs)을 활용하여 해결한다.
• 대규모 시스템에서 전통적인 혼합정수형 볼록 최적화의 계산 복잡도와 예측에 대한 의존도를 해결한다.
• 부하 소비의 불확실성을 통합된 의사결정 프레임워크에 통합하여 MESSs와 마이크로그리드의 공동 스케줄링을 가능하게 한다.
• 딥 강화학습을 활용한 확장 가능하고 실시간 가능한 솔루션을 개발하여 최적화된 정책의 온라인 구현을 가능하게 한다.
• MESS 이동성의 효과를 통해 에너지를 마이크로그리드 간에 이동시켜 핵심 부하를 효율적으로 복구하는 데 기여함을 입증한다.

제안 방법

• 마이크로그리드의 전력 수요-공급 균형, MESS 위치, 부하 불확실성을 수용하는 상태 공간을 포함한 마르코프 결정 과정(MDP)으로 부하 복구 문제를 수식화한다.
• 부하 예측 오차를 정규분포로 모델링하여 부하 소비의 외생적 불확실성을 표현한다.
• 노드, 간선, 거리로 구성된 가중치가 부여된 그래프로 운송 네트워크를 표현하여 MESS 라우팅 및 스케줄링을 가능하게 한다.
• 트윈 딜레이드 딥 디터미니스틱 정책 그라디언트(TD3) 알고리즘을 사용하여 MESS 배치 및 마이크로그리드 자원 할당을 동시에 최적화하는 연속 행동 정책 네트워크를 훈련시킨다.
• 재현 버퍼와 타겟 네트워크를 활용한 오프-폴리시 학습을 구현하여 훈련 안정성과 Q-값 과도추정을 감소시킨다.
• 훈련된 정책을 온라인으로 배포하여 동적 복구 시나리오에서 실시간으로 동시에 다중 행동 결정을 내릴 수 있도록 한다.

실험 결과

연구 질문

• RQ1 불확실한 부하 소비 조건 하에서 이동식 에너지 저장 플릿은 마이크로그리드의 핵심 부하를 어떻게 최적화하여 복구할 수 있는가?
• RQ2 이동식 및 정적 에너지 자원의 조율은 정전 후 복구 과정에서 시스템의 복원력을 얼마나 향상시킬 수 있는가?
• RQ3 딥 강화학습은 MESS 이동성과 마이크로그리드 운영을 동시에 포함하는 고차원적이고 비凸형 최적화 문제를 효과적으로 해결할 수 있는가?
• RQ4 MESS 이동성의 통합은 정적 자원만을 사용하는 해법에 비해 부하 복구 성능을 어떻게 향상시키는가?
• RQ5 부하 예측의 불확실성은 복구 전략의 성능에 어떤 영향을 미치며, 이를 효과적으로 관리하는 방법은 무엇인가?

주요 결과

• 제안된 DRL 기반 접근법은 불확실한 부하 조건 하에서 마이크로그리드 #1, #2, #3에서 각각 72.92%, 56.66%, 50.76%의 부하 복구율을 달성하였다.
• 총 시스템 비용은 351,172달러였으며, 이 중 고객 정전 비용 309,859달러, 마이크로그리드 발전 비용 34,872달러, MESS 발전 비용 4,600달러, 운송 비용 1,840달러가 포함되었다.
• TD3 알고리즘이 40,000 에피소드 내에 부분 최적 정책로 수렴하였으며, 안정적인 학습 및 검증 곡선을 통해 신뢰할 수 있는 정책 학습이 이루어졌음을 나타냈다.
• MESS 플릿은 마이크로그리드 간 에너지를 동적으로 이동시켰다. 예를 들어, MESS #1은 마이크로그리드 #1과 #2 사이를 오가며 한 곳에서는 충전하고 다른 곳에서는 방전하여 부하를 복구하였다.
• MESS는 같은 마이크로그리드 내에서 에너지를 이동시켰다. 예를 들어, MESS #3은 01:00–02:00에 마이크로그리드 #2에서 충전하고 02:00–07:00에 방전하였다.
• MESS 이동성과 공동 조정 배치의 통합은 네트워크 전역에서의 탄력적이고 실시간 에너지 이동을 가능하게 하여 시스템 복원력을 크게 향상시켰다.