[논문 리뷰] Dynamic Energy Dispatch in Isolated Microgrids Based on Deep Reinforcement Learning.

Lei Lei, Yue Tan외 3명|arXiv (Cornell University)|2020. 02. 07.

Smart Grid Energy Management참고 문헌 27인용 수 4

한 줄 요약

이 논문은 디젤 발전기, 태양광(PV), 배터리가 있는 고립형 마이크로그리드에서의 동적 에너지 배분을 위한 새로운 딥 강화학습 알고리즘인 FH-DDPG와 FH-RDPG를 제안한다. 문제를 유한한 시간 간격의 부분 관측 가능 마르코프 결정 과정(POMDP)으로 모델링하고 이전 데이터로부터 학습함으로써, 불확실성 하에서의 배분 안정성과 성능을 향상시킨다. 실제 사례 연구에서 이른바 '미래 지향적'이 아닌 접근법과 기준 DRL 방법보다 뛰어난 성능을 보였다.

ABSTRACT

This paper focuses on deep reinforcement learning (DRL)-based energy dispatch for isolated microgrids (MGs) with diesel generators (DGs), photovoltaic (PV) panels, and a battery. A finite-horizon Partial Observable Markov Decision Process (POMDP) model is formulated and solved by learning from historical data to capture the uncertainty in future electricity consumption and renewable power generation. In order to deal with the instability problem of DRL algorithms and unique characteristics of finite-horizon models, two novel DRL algorithms, namely, FH-DDPG and FH-RDPG, are proposed to derive energy dispatch policies with and without fully observable state information. A case study using real isolated microgrid data is performed, where the performance of the proposed algorithms are compared with the myopic algorithm as well as other baseline DRL algorithms. Moreover, the impact of uncertainties on MG performance is decoupled into two levels and evaluated respectively.

연구 동기 및 목표

• 고도로 재생 가능 에너지가 통합된 고립형 마이크로그리드에서 변동성이 큰 부하를 가진 환경에서의 동적 에너지 배분 문제를 해결한다.
• 마이크로그리드 운영에서 흔히 발생하는 유한한 시간 간격과 부분 관측 가능한 환경에서의 딥 강화학습의 불안정성을 해결한다.
• 재생 가능 에너지 생산과 부하 수요의 불확실성을 다룰 수 있는 특화된 DRL 알고리즘을 개발하여 운영 비용과 신뢰성을 최적화한다.
• 불확실성의 영향을 체계적인 분석을 위해 두 가지 별도 수준으로 분리하여 평가한다.
• 실제 고립형 마이크로그리드 데이터를 사용하여 제안된 알고리즘의 성능이 이른바 '미래 지향적' 및 표준 DRL 기반 방법보다 뛰어나다는 것을 입증한다.

제안 방법

• 미래의 부하 및 재생 가능 에너지 생산의 불확실성을 모델링하기 위해 에너지 배분 문제를 유한한 시간 간격의 부분 관측 가능 마르코프 결정 과정(POMDP)으로 공식화한다.
• 완전히 관측 가능한 상태를 가진 유한한 시간 간격 작업에 특화된 딥 결정성 정책 그래디언트의 변종인 FH-DDPG를 제안하여 학습 안정성을 향상시킨다.
• 부분 관측 가능한 환경을 위해 설계된 새로운 DRL 알고리즘인 FH-RDPG를 도입하여, 전체 상태 정보가 확보되지 않은 상황에서도 효과적인 정책 학습이 가능하도록 한다.
• 실제 마이크로그리드의 이전 데이터를 사용해 알고리즘을 훈련시켜 운영 비용을 최소화하면서도 시스템 안정성을 확보하는 최적의 배분 정책을 학습한다.
• 불확실성의 영향을 두 가지 별도 수준—부하 및 재생 가능 에너지 생산의 불확실성—으로 분리하여 별도 평가 및 분석한다.
• 실제 고립형 마이크로그리드 데이터를 활용한 사례 연구를 수행하여 제안된 알고리즘을 이른바 '미래 지향적' 및 표준 DRL 기반 방법과 비교 검증한다.

실험 결과

연구 질문

• RQ1 어떻게 딥 강화학습을 재생 가능 에너지 생산과 부하의 불확실성이 존재하는 고립형 마이크로그리드의 동적 에너지 배분에 효과적으로 적용할 수 있는가?
• RQ2 표준 DRL 알고리즘이 유한한 시간 간격과 부분 관측 가능한 마이크로그리드 배분 문제에 적용될 때 발생하는 주요 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ3 제안된 FH-DDPG 및 FH-RDPG 알고리즘이 이른바 '미래 지향적' 및 기준 DRL 방법에 비해 얼마나 배분 안정성과 성능을 향상시키는가?
• RQ4 부하 및 재생 가능 에너지 생산의 불확실성이 마이크로그리드 운영 성능에 각각 어떤 영향을 미치며, 이러한 영향은 분리하여 정량화할 수 있는가?
• RQ5 전체 상태 정보가 확보되지 않는 부분 관측 가능한 환경에서도 제안된 알고리즘이 강건한 성능을 유지할 수 있는가?

주요 결과

• 제안된 FH-DDPG 및 FH-RDPG 알고리즘은 이른바 '미래 지향적' 알고리즘과 표준 DRL 기반 방법에 비해 배분 안정성 향상과 운영 비용 절감에 뚜렷한 효과를 보였다.
• FH-RDPG는 부분 관측 가능한 환경에서도 뛰어난 성능을 보였으며, 전체 상태 정보가 확보되지 않은 상황에서도 효과적으로 작동함을 입증했다.
• 사례 연구 결과, 재생 가능 에너지 생산과 부하의 불확실성이 마이크로그리드 성능에 측정 가능한 명백한 영향을 미치며, 이는 별도로 분리하여 분석할 수 있음을 보여주었다.
• 유한한 시간 간격 설정은 단기적이고 실천 가능한 의사결정 창을 집중적으로 고려함으로써 학습 효율성과 정책 품질을 향상시켰다.
• 제안된 알고리즘은 특히 높은 불확실성 조건 하에서도 누적 비용을 낮추고 에너지 배분의 신뢰성을 높이는 데 성공했다.
• 실험 결과, 이전 데이터로부터의 학습이 알고리즘이 미리 경험하지 않은 시나리오로 일반화하는 데 기여함을 확인하여 실제 마이크로그리드 운영에서의 강건성을 향상시켰다.