[논문 리뷰] Using Reinforcement Learning for Demand Response of Domestic Hot Water Buffers: a Real-Life Demonstration

Oscar De Somer, Ana Soares외 4명|arXiv (Cornell University)|2017. 03. 16.

Smart Grid Energy ManagementEngineering참고 문헌 12인용 수 17

한 줄 요약

이 논문은 실거주 건물에서 현장에 설치된 태양광(PV) 에너지를 최대한 자가소비할 수 있도록 도와주는 모델 기반 강화학습(RL) 알고리즘을 제안한다. 실생활 주거 건물의 온수 보일러 가열 주기를 최적화함으로써, 거주자 행동을 학습하고 PV 발전 예측 및 시스템 동역학을 고려하여, 4개월간 6채의 주택에서 실시한 현장 실험에서 기존 온도조절기 제어 대비 20% 이상의 PV 자가소비 증가를 달성하였다.

ABSTRACT

This paper demonstrates a data-driven control approach for demand response in real-life residential buildings. The objective is to optimally schedule the heating cycles of the Domestic Hot Water (DHW) buffer to maximize the self-consumption of the local photovoltaic (PV) production. A model-based reinforcement learning technique is used to tackle the underlying sequential decision-making problem. The proposed algorithm learns the stochastic occupant behavior, predicts the PV production and takes into account the dynamics of the system. A real-life experiment with six residential buildings is performed using this algorithm. The results show that the self-consumption of the PV production is significantly increased, compared to the default thermostat control.

연구 동기 및 목표

• 기존의 온수 보일러의 열저장 기능을 활용해 데이터 기반 제어 전략을 개발하여 주거용 수요 반응을 가능하게 한다.
• 사용자 편안함을 해치지 않으면서 주거 건물 내에서 현지로 생산된 태양광(PV) 전기 에너지의 자가소비를 극대화한다.
• 모델 기반 강화학습(RL) 접근법의 실생활 성능을 실거주 다주택소형 시범 배포 환경에서 평가한다.
• 실생활 환경에서 RL 기반 스케줄링이 에너지 시스템의 유연성과 전력망 영향에 미치는 영향을 평가한다.
• PV 활용도 및 전기 소비 측면에서 RL 제어기와 기존 온도조절기 기반 제어 방식의 성능을 비교한다.

제안 방법

• 온수 보일러 가열 주기 스케줄링이라는 순차적 의사결정 문제를 해결하기 위해 모델 기반 강화학습(RL) 프레임워크를 사용한다.
• RL 에이전트는 실제 시스템 상호작용을 통해 학습하며, 확률적 거주자 온수 사용 패턴을 모델링하고 시간에 따른 PV 발전 예측을 수행한다.
• 상태 공간은 온수 보일러의 충전도(SoC), 시간대, 예측된 PV 생산량을 포함하며, 행동은 최소 온도(T_min, 45°C), 최대 온도(T_max, 55°C), 또는 가열 연기 중 하나이다.
• 실제 시스템 트레이제터리 데이터셋을 사용해 Q함수를 학습시켜 에너지 비용을 최소화하고 PV 자가소비를 극대화하는 최적 정책을 근사한다.
• 알고리즘은 후행 수평 접근법을 사용하며, 실시간 센서 데이터(온도, 유량, 전기 사용량) 기반으로 결정을 갱신한다.
• 시스템은 네덜란드의 6채의 개조된 복지 주택 단지에 구축되었으며, 각 주택에는 스마트 히트펌프와 PV 패널이 설치되어 있다.

실험 결과

연구 질문

• RQ1 모델 기반 강화학습 알고리즘이 실거주 건물에서 현장에 설치된 PV 발전을 최대한 자가소비할 수 있도록 온수 보일러 가열 주기를 효과적으로 스케줄링할 수 있는가?
• RQ2 PV 자가소비 및 전체 전기 사용 측면에서 RL 기반 제어는 기존 온도조절기 기반 제어 대비 어떻게 비교되는가?
• RQ3 실시간 제어 정책에 통합하기 위해 거주자 행동과 PV 발전 예측의 정도는 어느 정도 가능하며, 열저장에 어떻게 통합될 수 있는가?
• RQ4 실생활 배포 환경에서 RL 제어기가 총 주택 전기 소비량과 공간 난방 사용에 어떤 영향을 미치는가?
• RQ5 다양한 계절과 기상 조건 및 점유율 변화 상황에서도 RL 정책의 안정성은 어느 정도인가?

주요 결과

• RL 기반 제어는 온도조절기 제어 대비 PV 자가소비를 16.94%에서 6.25%로 2배 이상 향상시켰다.
• 모든 주택의 총 PV 자가소비 비율은 RL 제어기 사용 시 총 전기 사용량의 46.69%에서 58.52%로 증가하였다.
• 하루 평균 전기 소비량이 20.17kWh에서 22.13kWh로 10% 증가했지만, 대부분의 증가분은 온수 보다 공간 난방 사용 증가 때문이었으며, DHW는 아님을 확인하였다.
• 공간 난방이 포집한 PV 비율은 18.62%에서 19.71%로 약간 증가하여, RL 정책이 주로 온수 보일러 활용을 목표로 하고 있음을 시사하였다.
• 시간대별 소비 프로파일을 통해 RL 정책이 효과적으로 온수 가열 주기를 피크 PV 생산 시간대에 맞춰 이동시켰다.
• 결과적으로 RL이 기존의 열저장 인프라를 활용해 주거 건물 내 지역 에너지 활용도를 크게 향상시킬 수 있음을 입증하였다.