[논문 리뷰] Data-driven battery operation for energy arbitrage using rainbow deep reinforcement learning

Daniel J. B. Harrold, Jun Cao외 1명|arXiv (Cornell University)|2021. 06. 10.

Smart Grid Energy Management참고 문헌 34인용 수 4

한 줄 요약

이 논문은 동적 가격과 기상 기반 예측을 활용하여 마이크로그리드에서 에너지 차익거래를 최적화하기 위해 레인보우 딥 Q-네트워크(DQN) 강화학습 알고리즘을 제안한다. 레인보우 DQN은 표준 DQN, DDPG 및 선형 프로그래밍보다 뛰어난 성능을 보였으며, 분포 기반 접근 방식 덕분에 더 나은 학습 능력과 에이전트 행동의 해석 가능성 확보.

ABSTRACT

As the world seeks to become more sustainable, intelligent solutions are needed to increase the penetration of renewable energy. In this paper, the model-free deep reinforcement learning algorithm Rainbow Deep Q-Networks is used to control a battery in a small microgrid to perform energy arbitrage and more efficiently utilise solar and wind energy sources. The grid operates with its own demand and renewable generation based on a dataset collected at Keele University, as well as using dynamic energy pricing from a real wholesale energy market. Four scenarios are tested including using demand and price forecasting produced with local weather data. The algorithm and its subcomponents are evaluated against two continuous control benchmarks with Rainbow able to outperform all other method. This research shows the importance of using the distributional approach for reinforcement learning when working with complex environments and reward functions, as well as how it can be used to visualise and contextualise the agent's behaviour for real-world applications.

연구 동기 및 목표

• 에너지 차익거래와 재생 가능 에너지 활용도를 극대화하기 위해 마이크로그리드에서 최적의 배터리 운영을 위한 데이터 기반 강화학습 접근법을 개발하기.
• 실제 복잡한 에너지 환경에서 최신 기술인 레인보우 DQN 알고리즘의 성능을 표준 DQN 및 액터-크리틱 벤치마크와 비교 평가하기.
• 비결정적인 보상 함수 처리 및 에이전트 결정의 해석 가능성 향상에 있어 분포 기반 강화학습 접근 방식(C51)의 이점 탐구하기.
• 수요 및 가격 예측을 강화학습 에이전트의 상태 공간에 통합함으로써 제어 성능 및 학습 효율성에 미치는 영향 평가하기.

제안 방법

• 이 연구는 데ュ얼 네트워크, 우선순위 경험 재현, 분포 기반 Q-학습(C51)을 포함한 여러 DQN 개선 기법을 통합한 모델-프리 딥 강화학습 방법인 레인보우 DQN 알고리즘을 사용한다.
• 환경은 키르드 대학의 실제 마이크로그리드를 시뮬레이션하며, 실제 수요 및 재생 가능 에너지(태양광 및 풍력) 데이터, 동적 도매 전기 가격을 포함한다.
• 에이전트는 배터리 충전 상태, 실시간 전기 가격, 현지 기상 데이터를 기반으로 한 수요 및 가격 예측을 포함한 상태 공간을 관찰한다.
• 행동는 배터리 충전 또는 방전을 위한 이산 제어 명령어이며, 물리적 제약 조건을 준수하기 위해 용량 한도를 초과할 경우 벌점을 적용한다.
• 에피소드 동안 가치 분포를 시각화하여 환경 조건이 변화할 때 에이전트가 다양한 행동에 대해 가치를 어떻게 할당하는지 학습 과정을 해석한다.
• 상태 공간 및 행동 공간 크기가 점차 증가하는 네 가지 시나리오를 테스트하여 확장성 및 예측 통합 성능 평가.

실험 결과

연구 질문

• RQ1 동적 가격과 재생 에너지의 불규칙성 존재하는 실세계 마이크로그리드 환경에서, 레인보우 DQN 알고리즘이 에너지 차익거래를 위한 최적의 배터리 제어 정책을 효과적으로 학습할 수 있는가?
• RQ2 복잡한 에너지 환경에서 레인보우 DQN의 분포 기반 접근 방식(C51)이 표준 DQN에 비해 학습 안정성과 성능 향상에 어떻게 기여하는가?
• RQ3 수요 및 가격 예측이 에너지 차익거래 과제에서 강화학습 에이전트 성능에 어느 정도 향상 효과를 미치는가?
• RQ4 예측 데이터 통합이 에이전트가 가격 급등을 사전에 예측하고 배터리 배출을 최적화하는 데 어떤 영향을 미치는가?

주요 결과

• 레인보우 DQN은 모든 네 가지 테스트 시나리오에서 표준 DQN, DDPG 및 선형 프로그래밍 기준선보다 뚜렷하게 뛰어난 성능을 보였으며, 특히 상태 공간 및 행동 공간 크기가 높고 해상도가 높은 복잡한 환경에서 두각을 나타냈다.
• 분포 기반 접근 방식(C51)은 과충전 또는 배터리 용량 한도를 초과해 방전할 경우 발생하는 벌점과 같은 비결정적 보상 함수를 더 잘 모델링할 수 있도록 했다.
• 가치 분포 시각화 결과, 에이전트가 피크 가격 기간 전에 방전하는 행동을 특정 행동으로 연관지켜 효과적인 시간 계획 수립 능력을 보였다.
• 수요 및 가격 예측 데이터 통합이 성능 향상에 가장 큰 기여를 하였으며, 특히 이 정보를 효과적으로 활용해 보다 나은 의사결정을 내리는 레인보우 에이전트에서 두드러진 성과를 보였다.
• 레인보우의 하위 구성 요소(예: 우선순위 경험 재현, 데ュ얼 네트워크)는 상호 보완적으로 작용하여 다양한 시나리오에서 학습 효율성과 강인성을 향상시켰다.
• 연속적 행동 공간을 가진 DDPG 에이전트는 레인보우 DQN에 비해 성능이 열등했으며, 이는 레인보우가 분포 기반 및 가치 기반 접근 방식을 통해 더 뛰어난 학습 안정성과 성능을 제공했음을 시사한다.