[논문 리뷰] Meta-Reinforcement Learning for Building Energy Management System

Huiliang Zhang, Di Wu외 2명|arXiv (Cornell University)|2022. 10. 23.

Smart Grid Energy Management인용 수 11

한 줄 요약

이 논문은 태스크 수준 및 그룹 수준의 적응을 활용하여 건물 에너지 관리 시스템(EMS)의 정책 학습을 가속화하는 메타강화학습 프레임워크인 MetaEMS를 제안한다. 다양한 건물 환경에서 메타학습된 지식으로 정책을 초기화함으로써 MetaEMS는 더 빠른 수렴과 뛰어난 에너지 비용 절감을 달성한다—모든 시험 기후에서 MAML, RL-MPC, 무작위 초기화와 같은 기준 모델들을 능가하며 평균 일일 피크 수요를 최대 13.58% 낮춘다.

ABSTRACT

The building sector is one of the largest contributors to global energy consumption. Improving its energy efficiency is essential for reducing operational costs and greenhouse gas emissions. Energy management systems (EMS) play a key role in monitoring and controlling building appliances efficiently and reliably. With the increasing integration of renewable energy, intelligent EMS solutions have received growing attention. Reinforcement learning (RL) has recently been explored for this purpose and shows strong potential. However, most RL-based EMS methods require a large number of training steps to learn effective control policies, especially when adapting to unseen buildings, which limits their practical deployment. This paper introduces MetaEMS, a meta-reinforcement learning framework for EMS. MetaEMS improves learning efficiency by transferring knowledge from previously solved tasks to new ones through group-level and building-level adaptation, enabling fast adaptation and effective control across diverse building environments. Experimental results demonstrate that MetaEMS adapts more rapidly to unseen buildings and consistently outperforms baseline methods across various scenarios.

연구 동기 및 목표

• 딥강화학습(DRL)이 건물 에너지 관리 시스템(EMS)에 적용될 때 수백만 단계에 이르는 학습이 필요하여 샘플 효율성이 떨어지는 문제를 해결하기 위해.
• 건물 동역학과 불확실한 파라미터가 변화하는 동적인 실세계 EMS 환경에서 DRL 에이전트의 일반화 능력이 떨어지는 문제를 극복하기 위해.
• 최소한의 데이터로도 새로운 건물에 신속히 적응할 수 있도록 메타학습 기반 프레임워크를 개발하여 샘플 효율성을 향상시키기 위해.
• 변동 전력 가격 하에서 냉난방, 에너지 저장 및 재생 가능 에너지 통합을 최적화함으로써 에너지 비용 절감과 전력망 안정성 향상을 위해.
• 정밀한 건물 모델이 필요 없이 다양한 기후대와 건물 유형 간 일반화 가능한 강력하고 이식 가능한 제어 정책을 만들기 위해.

제안 방법

• 다양한 건물 환경에서 DRL 정책의 보편적인 초기화를 학습하기 위해 MAML 스타일 최적화를 활용한 메타강화학습을 적용한다.
• 건물 수준과 그룹 수준의 적응을 통합함으로써, 몇 번의 경사 하강 단계만으로도 새로운 건물에서 빠른 피지테이닝이 가능하도록 한다.
• 기본 정책 초기화와 새로운 작업(즉, 새로운 건물 또는 기후)에 대한 빠른 적응을 동시에 최적화하기 위해 계층적 메타학습 목표를 사용한다.
• 4개의 미국 기후대를 대상으로 시뮬레이션된 건물 데이터를 사용하여 학습을 수행하며, 에너지 비용, 부하 형상 조절, 피크 수요를 균형 잡는 보상 함수를 사용한다.
• 정책은 정책 기반 강화학습 방법(예: PPO)을 통해 학습되며, 작업 분포에 대한 기대 손실을 최소화하기 위해 메타최적화가 적용된다.
• 프레임워크는 실제 EMS를 시뮬레이션하는 CityLearn 벤치마크 환경에서 평가되며, 재생 가능 에너지 발전, 저장장치, 제어 가능한 부하를 포함한다.

실험 결과

연구 질문

• RQ1 메타강화학습은 새로운 건물 환경에서 안정적이고 저비용 제어를 달성하기 위해 필요한 에피소드 수를 크게 줄일 수 있는가?
• RQ2 다양한 기후에서 MetaEMS는 표준 DRL, MAML, 사전 학습된 기준 모델 대비 에너지 비용, 피크 수요, 램프 성능 측면에서 어떻게 비교되는가?
• RQ3 건물 수준과 그룹 수준의 적응을 동시에 통합함으로써 메타학습된 정책의 일반화 능력과 안정성은 어느 정도 향상되는가?
• RQ4 외기 온도, 전력 가격, 재생 가능 에너지 생산 프로파일이 변할 수 있는 분포 이탈 상황에서도 MetaEMS는 안정적인 성능을 유지하는가?
• RQ5 메타학습된 초기화가 실제 운영 환경에서 랜덤 또는 사전 학습된 가중치보다 더 빠른 수렴을 이끌 수 있는가?

주요 결과

• MetaEMS는 모든 4개 기후대에서 가장 낮은 평균 에너지 비용을 기록했으며, 최고의 기준 모델(RL-MPC) 대비 총 비용을 5.27% 절감했다.
• MetaEMS는 연간 피크 수요를 3.80% 감소시키고 평균 일일 피크 수요를 최고의 기준 모델 대비 13.58% 낮춰 전력망 안정성 향상에 기여했다.
• 메타테스트에서 MetaEMS는 단 2개 에피소드 만에 수렴했고, MAML 및 무작위 초기화는 4–5개 에피소드가 필요했으며 학습 경향이 불안정했다.
• MetaEMS는 램프 성능에서 6.01% 향상되어 더 나은 부하 프로파일 형상 조절과 전력망의 스트레스 감소를 나타냈다.
• 모든 4개 기후대에서 안정적이고 신속한 적응을 유지하여 환경 분포 이탈에 대한 강건성과 뛰어난 일반화 능력을 입증했다.
• 제거 실험을 통해 건물 수준과 그룹 수준의 적응이 최적의 샘플 효율성과 성능를 달성하기 위해 필수적임을 확인했다.