[논문 리뷰] Data-driven Model Predictive and Reinforcement Learning Based Control for Building Energy Management: a Survey

Huiliang Zhang, Sayani Seal외 4명|arXiv (Cornell University)|2021. 06. 28.

Smart Grid Energy Management인용 수 4

한 줄 요약

이 종합 검토는 건물 에너지 관리에 대한 데이터 기반 모델 예측 제어(MPC) 및 강화 학습(RL) 기반 방법을 검토하며, 불확실성 처리 능력, 계산 효율성, 모델 의존성 측면에서의 강점을 비교한다. 연구 결과, 전통적 MPC와 데이터 기반 모델 또는 RL 예측을 융합하는 방식이 신뢰성, 적응 가능성, 실시간 성능 간의 실용적인 균형을 이룬다.

ABSTRACT

Building energy management is one of the core problems in modern power grids to reduce energy consumption while ensuring occupants' comfort. However, the building energy management system (BEMS) is now facing more challenges and uncertainties with the increasing penetration of renewables and complicated interactions between humans and buildings. Classical model predictive control (MPC) has shown its capacity to reduce building energy consumption, but it suffers from labor-intensive modelling and complex on-line control optimization. Recently, with the growing accessibility to the building control and automation data, data-driven solutions have attracted more research interest. This paper presents a compact review of the recent advances in data-driven MPC and reinforcement learning based control methods for BEMS. The main challenges in these approaches and insights on the selection of a control method are discussed.

연구 동기 및 목표

• 최근 데이터 기반 MPC 및 RL 기반 제어 기법에 대한 건물 에너지 관리 시스템(BEMS)에 대한 종합적인 검토를 제공하기 위해.
• 실제 BEMS 응용 분야에 데이터 기반 MPC 및 RL 방법을 구현할 때 발생하는 주요 과제를 특정하고 분석하기 위해.
• 계산 복잡도, 데이터 효율성, 안전성, 내구성 측면에서 데이터 기반 MPC와 RL 기반 접근 방식 간의 차이를 비교하기 위해.
• 특정 제어 목표에 기반하여 연구자 및 엔지니어가 이러한 방법을 선택하거나 융합하는 데 실질적인 통찰을 제공하기 위해.
• MPC와 RL을 융합하여 MPC의 신뢰성과 RL의 적응 가능성의 장점을 동시에 활용할 잠재력을 탐색하기 위해.

제안 방법

• 2015년에서 2021년 사이의 최근 문헌을 체계적으로 조사하여, 데이터 기반 MPC 및 RL 기반 BEMS에 대한 제어 전략, 모델링 기법, 구현 과제에 중점을 둔다.
• 데이터 기반 MPC를 두 가지 범주로 분류한다: (1) 기존 MPC를 위한 학습 기반 제어 모델(실시간 최적화 반복을 줄임), (2) MPC 내 예측 모델로 사용되는 데이터 기반 모델.
• 전통적 RL 및 딥 RL 기반 접근 방식을 BEMS에 대해 검토하며, 정확한 시스템 모델이 필요 없이 건물 환경과의 상호작용을 통해 최적 정책을 학습할 수 있는 능력을 강조한다.
• 모델 기반 RL을 하이브리드 접근 방식으로 분석하며, 학습된 모델(예: 신경망)을 예측에 사용하여 MPC의 예측 프레임워크와 유사한 구조를 취한다.
• 예측 수평 길이, 데이터 효율성, 모델 의존성, 계산 복잡도, 안전성 등의 핵심 기준에 따라 방법을 비교한다.
• MPC가 안전성과 내구성을 보장하고, 데이터 기반 모델 또는 RL이 적응성을 향상시키며 정밀한 물리 기반 모델 의존도를 감소시키는 하이브리드 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 건물 에너지 관리에 있어 데이터 기반 MPC와 RL 기반 방법은 계산 복잡도와 실시간 실행 가능성 측면에서 어떻게 비교될 수 있는가?
• RQ2 RL 기반 BEMS 컨트롤러의 상용화를 저해하는 주요 과제로 데이터 효율성, 안전성, 내구성 문제는 무엇인가?
• RQ3 데이터 기반 MPC는 전통적 MPC의 계산 부담을 어떻게 줄일 수 있으며, 同시에 제어 신뢰성을 유지할 수 있는가?
• RQ4 MPC와 RL은 건물 에너지 관리 응용 분야에서 어떻게 의미 있는 방식으로 융합될 수 있는가?
• RQ5 특정 건물 에너지 관리 목표에 따라 제어 전략(MPC 대비 RL) 선택을 지시할 기준은 무엇인가?

주요 결과

• 데이터 기반 MPC는 실시간 최적화를 사전에 훈련된 모델로 대체함으로써 실시간 실행 가능성을 향상시키기 위해 온라인 계산 시간을 감소시킨다.
• 기존 MPC는 정확한 시스템 모델에 크게 의존하며, 이는 이질적인 건물에서는 확보하기 어려워 복잡도와 계산 비용을 증가시킨다.
• RL 기반 방법은 정확한 모델링에 대한 의존도를 감소시키지만, 특히 고정밀 건물 시뮬레이션에서 낮은 데이터 효율성과 높은 샘플 복잡도 문제를 야기한다.
• 모델 기반 RL은 MPC와 유사한 점이 있다. 둘 다 예측 모델을 사용하기 때문이다. 그러나 RL의 정책 학습은 더 유연하지만, 안전이 중요한 환경에서는 예측 가능성이 떨어진다.
• MPC와 데이터 기반 모델 또는 RL 예측을 융합하는 방식은 신뢰성, 적응 가능성, 계산 효율성 간의 균형을 고려할 때 유망한 전망을 보인다.
• 다양한 건물 보유량에 걸쳐 충분한 내구성과 적응성을 확보하지 못한 채, 데이터 기반 MPC와 RL은 아직 광범위한 상용화에 이르지 못했다.