[논문 리뷰] Multi-Agent Q-Learning for Minimizing Demand-Supply Power Deficit in Microgrids

Raghuram Bharadwaj Diddigi, Sai Koti Reddy Danda외 1명|arXiv (Cornell University)|2017. 08. 25.

Smart Grid Energy Management참고 문헌 11인용 수 5

한 줄 요약

이 논문은 전력망이 불안정하거나 존재하지 않는 마을을 공급하는 마이크로그리드에서 수요-공급 전력 부족을 최소화하기 위해 다중 에이전트 Q-학습 접근법을 제안한다. 재생 가능 에너지 저장 및 주 전력망 연결을 활용하며, 문제를 마르코프 결정 과정(MDP)으로 모델링하고 협동 Q-학습을 적용하여 태양광, 풍력 및 전력망 자원 간의 전력 할당을 최적화한다. 주 전력망 용량이 중간 수준일 경우 배터리 저장이 부족을 크게 감소시킴을 보여준다.

ABSTRACT

We consider the problem of minimizing the difference in the demand and the supply of power using microgrids. We setup multiple microgrids, that provide electricity to a village. They have access to the batteries that can store renewable power and also the electrical lines from the main grid. During each time period, these microgrids need to take decision on the amount of renewable power to be used from the batteries as well as the amount of power needed from the main grid. We formulate this problem in the framework of Markov Decision Process (MDP), similar to the one discussed in [1]. The power allotment to the village from the main grid is fixed and bounded, whereas the renewable energy generation is uncertain in nature. Therefore we adapt a distributed version of the popular Reinforcement learning technique, Multi-Agent Q-Learning to the problem. Finally, we also consider a variant of this problem where the cost of power production at the main site is taken into consideration. In this scenario the microgrids need to minimize the demand-supply deficit, while maintaining the desired average cost of the power production.

연구 동기 및 목표

• 신뢰할 수 없는 전력망 또는 전력망이 없는 원격 인도 마을을 전기로 공급하는 문제에 대응한다.
• 재생 가능 에너지와 배터리 저장을 활용하여 마이크로그리드의 장기적인 수요-공급 전력 부족을 최소화한다.
• 주 전력망 전력 비용을 최적화에 통합하여 전력 부족과 생산 비용을 균형 잡는다.
• 불확실성 하에서 마이크로그리드 전력 할당을 위한 분산형, 학습 기반 제어 전략을 개발한다.
• 다양한 주 전력망 용량 제약 조건 하에서 배터리 저장이 전력 부족을 줄이는 데 효과적인지 평가한다.

제안 방법

• 상태로 수요, 배터리 수준, 전력 가용성을 포함하는 마르코프 결정 과정(MDP)으로 마이크로그리드 전력 할당 문제를 수식화한다.
• 시간 단위별 태양광, 풍력 및 주 전력망 전력 사용에 대한 최적 정책을 학습하기 위해 협동 다중 에이전트 Q-학습을 적용한다.
• 수요-공급 부족과 주 전력망 전력 사용을 모두 처벌하는 단일 단계 보상 함수를 사용하며, 조정 가능한 비용 매개변수 c를 포함한다.
• 10^8회 반복 동안 ε = 0.85로 설정된 ε-그리디 탐색 전략을 사용하여 최적 Q-값을 학습한다.
• 포isson 분포를 따르는 재생 가능 에너지 발전(평균 = 2)과 전이 행렬 P를 가진 마르코프 체인에 따라 수요를 시뮬레이션한다.
• 학습 후 10^4회 반복 동안 평균 부족을 사용하여, 배터리 저장이 있는지 여부에 따라 성능을 비교한다.

실험 결과

연구 질문

• RQ1 제한된 주 전력망 접근성 하에서 배터리 저장은 마이크로그리드의 수요-공급 전력 부족 최소화에 어떤 영향을 미치는가?
• RQ2 전력 부족 최소화와 주 전력망에서 소비하는 전력 비용을 조절하는 데서의 상호 교환 관계는 어떠한가?
• RQ3 저장된 재생 가능 에너지를 직접 실시간 발전 및 전력망 전력 사용보다 더 효과적으로 사용할 수 있는 조건은 무엇인가?
• RQ4 주 전력망 용량이 변화할 경우 다중 에이전트 Q-학습의 성능은 비저장 전략에 비해 어떻게 다를까?
• RQ5 비용 가중 보상 함수는 전력 부족과 주 전력망 전력 생산 비용을 효과적으로 균형 잡는 데 기여하는가?

주요 결과

• 주 전력망 최대 전력 할당(MPA)이 3 이하일 경우, 배터리 저장은 추가 이득을 주지 않으며, 비용 가중치 없이 설계된 알고리즘 1이 더 우수한 성능을 보인다.
• MPA가 최소 수요와 유사할 경우(예: 5–8), 알고리즘 2(비용 가중 보상 포함)가 배터리 저장을 활용해 부족을 줄이며 알고리즘 1을 능가한다.
• 비용 매개변수 c가 0에서 1로 증가함에 따라 평균 수요-공급 부족은 감소하고 평균 주 전력망 전력 사용은 증가함을 확인하여 효과적인 상호 교환 제어가 가능함을 보여준다.
• 다중 에이전트 Q-학습 알고리즘이 10^8회 반복 후 안정된 정책으로 수렴하며, 10^4회 테스트 반복 동안 평균 부족이 유의미하게 감소함을 확인했다.
• 시뮬레이션 결과는 주 전력망 용량이 중간 수준일 경우 지능형 저장 및 재생 가능 에너지 할당이 전력 부족을 크게 줄임을 확인한다.
• 결과는 주 전력망 공급이 제한되지만 전혀 존재하지 않는 것은 아닐 경우 배터리 저장이 가장 유익함을 입증하며, 적응형 에너지 관리의 필요성을 확인한다.