[논문 리뷰] Deep Reinforcement Learning for Smart Building Energy Management: A Survey.

Liang Yu, Shuqi Qin외 4명|arXiv (Cornell University)|2020. 08. 12.

Building Energy and Comfort Optimization인용 수 23

한 줄 요약

이 종합 검토는 스마트 빌딩 에너지 관리에서 심층 강화학습(DRL) 응용에 대한 포괄적인 검토를 제시하며, 복잡한 동역학, 불확실성, 큰 해법 공간과 같은 과제들을 다룹니다. DRL 방법을 분류하고 단일 서브시스템, 다에너지 시스템, 빌딩 마이크로그리드에서의 응용을 검토하며, 실시간, 적응형, 효율적인 빌딩 에너지 최적화를 위한 열린 과제와 향후 연구 방향을 규명합니다.

ABSTRACT

Global buildings consumed 30% of total energy and generated 28% of total carbon emission in 2018, which leads to economic and environmental concerns. Therefore, it is of great significance to reduce energy consumption, energy cost and carbon emission of buildings while maintaining user comfort. To this end, several challenges have to be addressed. Firstly, it is very challenging to develop a building thermal dynamics model that is both accurate and efficient enough for building control. Secondly, there are many kinds of uncertainties. Thirdly, there are many spatially and temporally operational constraints. Fourthly, building energy optimization problems may have extremely large solution spaces, which can not be solved in real-time by traditional methods. Fifthly, traditional building energy management methods have respective applicable premises, which means that they have low versatility when confronted with varying building environments. As a general artificial intelligence technology, deep reinforcement learning (DRL) has the potential of addressing the above challenges. Thus, this paper presents a comprehensive literature review on DRL for smart building energy management (SBEM). To be specific, we first introduce the fundamentals of DRL and provide the classification of DRL methods used in existing works related to SBEM. Then, we review the applications of DRL in a single building energy subsystem, multiple energy subsystems of buildings, and building microgrids, respectively. Furthermore, we identify the unsolved issues and point out the possible research directions of applying DRL. Finally, we summarize the lessons learned from this survey.

연구 동기 및 목표

• 2018년 기준 전 세계 에너지 소비의 30%와 배출가스의 28%를 차지하는 건물의 증가하는 에너지 소비와 이산화탄소 배출을 해결하기 위해.
• 낮은 적응성, 정확한 모델에 대한 높은 의존성, 낮은 확장성 등의 한계를 지닌 전통적 건물 에너지 관리 방법을 극복하기 위해.
• 고차원 상태 및 행동 공간을 가진 복잡한 실시간 건물 에너지 최적화 문제를 해결하는 데에 심층 강화학습(DRL)의 잠재력을 평가하기 위해.
• 건물 에너지 관리에 사용된 DRL 방법을 체계적으로 분류하고, 다양한 시스템 구성에서의 성능을 분석하기 위해.
• 해결되지 않은 과제를 규명하고 DRL 기반 스마트 빌딩 에너지 관리의 향후 연구 방향을 제안하기 위해.

제안 방법

• 이 논문은 스마트 빌딩 에너지 관리(SBEM) 분야의 DRL 응용에 대한 체계적 문헌 검토를 수행하며, 단일 에너지 서브시스템, 다에너지 시스템, 빌딩 마이크로그리드에 중점을 둡니다.
• 딥 Q 네트워크(DQN), 프록실 풍부 정책 최적화(PPO), 쌍둥이 지연된 DDPG(TD3)와 같은 아키텍처 및 훈련 프레임워크 기반으로 DRL 방법을 분류합니다.
• 실시간 제어에서 불확실성, 공간-시간 제약 조건, 큰 해법 공간을 다룰 수 있는 능력을 바탕으로 DRL 모델을 평가합니다.
• DRL을 건물 열역학 모델 및 건물 에너지 시스템 시뮬레이션과 통합하는 방식을 분석합니다.
• 다양한 건물 유형, 제어 목표(예: 에너지 비용, 이산화탄소 배출, 사용자 쾌적함), 시뮬레이션 환경 간의 DRL 성능을 비교 분석하는 방법을 포함합니다.
• 연구 결과를 종합하여 모델 일반화, 샘플 효율성, 실세계 구현에서의 격차를 규명합니다.

실험 결과

연구 질문

• RQ1 다양한 DRL 알고리즘은 단일 및 다에너지 건물 시스템에서 에너지 소비, 비용, 배출가스 최적화에 어떻게 성능을 발휘하는가?
• RQ2 모델 정확도, 일반화 능력, 샘플 효율성 등의 과제를 포함하여 DRL을 실세계 건물 에너지 관리에 적용할 때의 주요 과제는 무엇인가?
• RQ3 DRL 방법은 건물 환경에서 점유율, 날씨, 장비 동작의 불확실성을 어떻게 다루는가?
• RQ4 적응성과 확장성 측면에서 DRL 기반 접근법은 전통적 제어 방법과 비교해 어떤 방식으로 우월하거나 다름을 보이는가?
• RQ5 실제 스마트 빌딩 에너지 관리 시스템에 DRL을 구현하기 위한 주요 열린 과제와 향후 연구 방향은 무엇인가?

주요 결과

• DRL 방법은 전통적 제어 방법으로는 해결이 어려운 고차원적이고 복잡한 건물 에너지 최적화 문제를 다룰 잠재력을 보여줍니다.
• PPO 및 DQN과 같은 방법은 환경 및 점유 조건 변화에 따라 냉난방환기(VAV) 및 조명 시스템 제어에서 더 높은 샘플 효율성과 안정성을 확보합니다.
• 다중 에이전트 DRL 접근법은 공간적으로 분산된 에너지 서브시스템을 효과적으로 관리하면서도 협업과 확장성을 유지합니다.
• DRL 기반 제어기들은 사용자 열적 쾌적함을 유지하면서도 에너지 비용과 이산화탄소 배출량을 상당히 감소시켰으며, 일부 시뮬레이션 연구에서는 최대 20%까지 감소를 기록했습니다.
• 다소 유망한 결과에도 불구하고, 건물 유형 간 일반화, 실시간 추론 속도, 실세계 구현에서의 분포 이탈에 대한 강건성 등의 과제가 남아 있습니다.
• 이 종합 검토는 표준화된 벤치마크, 전이 학습, 해석 가능한 DRL 모델의 개발이 실용적 도입을 촉진하기 위해 절실한 필요성을 규명합니다.