[논문 리뷰] Distributed Energy Management and Demand Response in Smart Grids: A Multi-Agent Deep Reinforcement Learning Framework

Amin Shojaeighadikolaei, Arman Ghasemi외 5명|arXiv (Cornell University)|2022. 11. 29.

Smart Grid Energy Management인용 수 5

한 줄 요약

이 논문은 실시간 동적 요금제를 활용하여 주거용 스마트그리드에서 분산 에너지 관리(DER)와 수요 반응(DR)을 공동 최적화하는 다중 에이전트 딥 강화학습(DRL) 프레임워크를 제안한다. 프로슈머가 배터리 저장 및 그리드 상호작용을 자율적으로 관리할 수 있도록 함으로써, 프로슈머의 전기 요금을 최대 12% 절감하고 그리드 수익을 4.3% 증가시키며 피크 예비 전력 사용을 줄이며, 중규모 시뮬레이션에서 확장성과 경제적 효율성을 입증한다.

ABSTRACT

This paper presents a multi-agent Deep Reinforcement Learning (DRL) framework for autonomous control and integration of renewable energy resources into smart power grid systems. In particular, the proposed framework jointly considers demand response (DR) and distributed energy management (DEM) for residential end-users. DR has a widely recognized potential for improving power grid stability and reliability, while at the same time reducing end-users energy bills. However, the conventional DR techniques come with several shortcomings, such as the inability to handle operational uncertainties while incurring end-user disutility, which prevents widespread adoption in real-world applications. The proposed framework addresses these shortcomings by implementing DR and DEM based on real-time pricing strategy that is achieved using deep reinforcement learning. Furthermore, this framework enables the power grid service provider to leverage distributed energy resources (i.e., PV rooftop panels and battery storage) as dispatchable assets to support the smart grid during peak hours, thus achieving management of distributed energy resources. Simulation results based on the Deep Q-Network (DQN) demonstrate significant improvements of the 24-hour accumulative profit for both prosumers and the power grid service provider, as well as major reductions in the utilization of the power grid reserve generators.

연구 동기 및 목표

• 기존 모델 기반 수요 반응 및 에너지 관리 기법의 한계를 해결하기 위해, 시스템의 불확실성, 비선형성, 일반화 부족 문제를 해결하고자 한다.
• 모델 기반 강화학습을 사용하지 않고도 주거형 마이크로그리드에서 그리드 서비스 제공자와 프로슈머 양측의 자율적 실시간 의사결정을 가능하게 하고자 한다.
• 동적이고 수요에 따라 변하는 전기 요금제를 통해 분산 에너지 관리와 수요 반응을 공동 최적화하여 프로슈머의 참여를 유도하고자 한다.
• 이질적인 프로슈머를 포함한 중규모 마이크로그리드에서 프레임워크의 확장성과 경제적 성능을 평가하고자 한다.
• 지역 태양광 패널과 배터리 등 분산 에너지 자원을 조정 가능한 자산으로 활용함으로써 그리드 안정성을 향상시키고 고비용 예비 발전기 의존도를 감소시킬 수 있음을 입증하고자 한다.

제안 방법

• 서비스 제공자 에이전트(SPA)와 프로슈머 에이전트(PAs) 간의 상호작용을 마르코프 결정 과정(MDP)으로 모델링하여 불확실성 하에서의 순차적 의사결정을 가능하게 한다.
• SPA는 실시간 그리드 상태와 수요 수준에 따라 전력 구매 가격을 동적으로 설정하기 위해 딥 Q 네트워크(DQN) 강화학습을 사용한다.
• 각 PA는 개별 수익을 극대화하기 위해 배터리 충전/방전 주기와 그리드에의 전력 주입을 자율 제어하기 위해 별도의 DQN 에이전트를 활용한다.
• 실시간 요금 신호를 통합하여 프로슈머가 에너지 사용과 저장을 이동시켜 개인적 인centives를 그리드 안정성과 일치시키도록 유도한다.
• 작규모(5명의 프로슈머) 및 중규모(50명의 프로슈머) 마이크로그리드 환경에서 시뮬레이션을 통해 프레임워크를 훈련 및 평가하며, 현실적인 부하 프로파일과 송전 손실을 포함한다.
• 배터리 용량과 송전 손실 파rameter를 다양하게 조정하여 시스템 성능 및 확장성에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 명시적인 시스템 모델이 없이도 다중 에이전트 DRL 프레임워크가 주거형 마이크로그리드에서 분산 에너지 관리와 수요 반응을 효과적으로 조율할 수 있는가?
• RQ2 동적이고 수요에 반응하는 요금제는 프로슈머 행동과 그리드 수준의 에너지 분배 효율성에 어떤 영향을 미치는가?
• RQ3 지역 태양광 패널과 배터리 등 분산 에너지 자원을 조정 가능한 자산으로 활용할 경우, 예비 발전기 의존도를 어느 정도 줄일 수 있는가?
• RQ4 소비 패턴이 이질적인 증가하는 수의 프로슈머 환경에서 프레임워크의 성능과 경제적 이점은 어떻게 확장되는가?
• RQ5 배터리 크기와 송전 손실은 장기적인 수익성과 에너지 관리 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 DRL 프레임워크는 중규모(50명의 프로슈머) 시뮬레이션에서 기존 방법 대비 평균 일일 전기 요금을 12% 절감하였다.
• 최적화된 배터리 배분과 고비용 예비 전력 발전의 감소로 인해 24시간 동안 그리드 수익이 4.3% 증가하였다.
• 피크 수요 부하가 저녁 시간대(18–24시)에서 오전 6시 이전의 아침 시간대로 효과적으로 이동되어 그리드 부하가 감소하였다.
• 배터리 용량을 2kWh에서 15kWh로 증가시켰을 때 요금 절감과 수익 증가가 뚜렷하게 나타났지만, 15kWh를 초과하면 향상 폭이 둔화되기 시작하였다.
• 송전 손실은 그리드 수익에 부정적인 영향을 미쳤으며, 높은 손실 계수는 전체 시스템의 효율성과 수익성 저하를 초래하였다.
• 에이전트 기반 접근법은 전기 요금 절감과 예비 전력 활용도 측면에서 기존 방법보다 뛰어난 성능을 보였으며, 이질적인 환경에서의 확장성과 강건성을 입증하였다.