[논문 리뷰] PhysQ: A Physics Informed Reinforcement Learning Framework for Building Control

Gargya Gokhale, Bert Claessens외 1명|arXiv (Cornell University)|2022. 11. 21.

Building Energy and Comfort Optimization인용 수 4

한 줄 요약

PhysQ는 건물의 열역학적 특성을 활용하여 자료 효율적이고 해석 가능한 주거용 난방 제어 정책을 학습하는 물리 기반 강화학습 프레임워크이다. 적은 학습 샘플로도 규칙 기반 및 기본 모델 예측 제어기보다 뛰어난 성능을 보이며, 피팅된 Q-반복 알고리즘에 물리적 사전 지식을 통합함으로써 약 9%의 비용 절감을 달성한다.

ABSTRACT

Large-scale integration of intermittent renewable energy sources calls for substantial demand side flexibility. Given that the built environment accounts for approximately 40% of total energy consumption in EU, unlocking its flexibility is a key step in the energy transition process. This paper focuses specifically on energy flexibility in residential buildings, leveraging their intrinsic thermal mass. Building on recent developments in the field of data-driven control, we propose PhysQ. As a physics-informed reinforcement learning framework for building control, PhysQ forms a step in bridging the gap between conventional model-based control and data-intensive control based on reinforcement learning. Through our experiments, we show that the proposed PhysQ framework can learn high quality control policies that outperform a business-as-usual, as well as a rudimentary model predictive controller. Our experiments indicate cost savings of about 9% compared to a business-as-usual controller. Further, we show that PhysQ efficiently leverages prior physics knowledge to learn such policies using fewer training samples than conventional reinforcement learning approaches, making PhysQ a scalable alternative for use in residential buildings. Additionally, the PhysQ control policy utilizes building state representations that are intuitive and based on conventional building models, that leads to better interpretation of the learnt policy over other data-driven controllers.

연구 동기 및 목표

• 모델 기반 MPC와 데이터 기반 RL의 한계를 해결하기 위한 것으로, 높은 모델링 비용, 모델 편향, 열악한 자료 효율성 등의 문제를 다룬다.
• 기존의 모델 기반 제어와 데이터 집약적 강화학습 간 격차를 해소하기 위해 학습 과정에 물리 기반 표현을 통합한다.
• 열역학적 특성에 대한 사전 지식을 활용하여 건물 제어를 위한 강화학습의 자료 효율성과 정책 해석 가능성을 향상시킨다.
• 낮은 샘플 요구량과 물리적으로 의미 있는 상태 표현을 통해 강화학습 기반 제어기의 주거용 건물에 대한 확장 가능한 구현을 가능하게 한다.
• 정확한 물리적 사전 지식이 데이터 기반 환경에서 높은 성능의 제어 정책을 달성하는 데 필수적임을 검증한다.

제안 방법

• PhysQ는 건물의 열역학적 특성(예: 실내 온도 및 질량 온도)으로부터 물리적으로 관련된 은닉 상태 표현을 추출하기 위해 물리 기반 신경망(PhysNet)을 사용한다.
• 이러한 물리 기반 상태 특징을 사용하여 피팅된 Q-반복(FQI) 알고리즘을 적용해 저차원 Q-함수를 학습함으로써 샘플 효율적인 정책 학습을 실현한다.
• 신경망 아키텍처, 특히 동역학 및 인코더 모듈에 건물의 열역학적 특성에 대한 사전 지식을 통합하여 표현 학습을 유도한다.
• 에너지 비용 최소화와 열적 편안함 제약 조건을 균형 잡는 보상 함수를 사용하여 Q-함수를 학습하며, 행동은 이진 난방 상태로 제약된다.
• 프레임워크는 자체 개발한 시뮬레이터를 사용하여 평가되며, 사업상의 관행(비즈니스-어스-유얼, BAU) 제어기, 표준 FQI-NN 에이전트, 모델 예측 제어기(MPC)와의 비교를 수행한다.
• 제거 실험은 잘못된 물리적 사전 지식이 미치는 영향을 분석하기 위해 '틀린 PhysQ' 변종과 정확한 PhysQ를 비교함으로써 정확한 물리 지식이 필수적임을 입증한다.

실험 결과

연구 질문

• RQ1 물리 기반 강화학습 프레임워크는 주거용 건물 난방 제어에서 데이터 요구량을 줄이면서도 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 정확한 물리적 사전 지식의 통합은 데이터 기반 강화학습 환경에서 학습된 제어 정책의 품질과 강건성에 어떤 영향을 미치는가?
• RQ3 PhysQ는 비용 절감과 에너지 효율성 측면에서 기존의 규칙 기반 및 모델 기반 제어기보다 얼마나 뛰어나게 성과를 내는가?
• RQ4 물리적으로 해석 가능한 상태 표현의 사용은 표준 딥 강화학습 에이전트에 비해 학습된 제어 정책의 해석 가능성을 향상시키는가?
• RQ5 PhysQ의 성능는 특히 잘못된 물리 모델이 사용될 경우 오차에 얼마나 민감한가?

주요 결과

• PhysQ는 사업상의 관행 기반 규칙 기반 제어기 대비 약 9% 낮은 에너지 비용을 기록하여 뚜렷한 경제적 이점을 입증한다.
• 기존의 FQI-NN 에이전트에 비해 더 적은 학습 샘플을 요구함으로써, 물리 기반 표현 덕분에 자료 효율성이 향상됨을 확인한다.
• 제거 실험 결과, 정확한 물리적 사전 지식을 사용한 PhysQ와 잘못된 사전 지식을 사용한 변종 간에 뚜렷한 성능 격차가 확인되어 정확한 물리 지식이 높은 정책 품질을 확보하는 데 필수적임을 입증한다.
• PhysQ는 비용 절감과 샘플 효율성 측면에서 표준 FQI-NN 에이전트와 기본 MPC 제어기보다 뛰어나며, 이는 실세계 구현 시나리오에서의 우월성을 시사한다.
• 실내 온도 및 열질량 온도와 같은 물리적으로 의미 있는 상태 특징의 사용은 학습된 정책의 해석 가능성을 향상시키며, 건물 제어 분야에서 설명 가능한 인공지능으로 향하는 길을 열어준다.
• 프레임워크는 실세계 구현 가능성이 매우 높으며, 향후 연구는 현장 검증과 외부 변수 예측 오차에 대한 강건성 향상에 집중할 예정이다.