[논문 리뷰] Lessons Learned from Data-Driven Building Control Experiments: Contrasting Gaussian Process-based MPC, Bilevel DeePC, and Deep Reinforcement Learning

Loris Di Natale, Yingzhao Lian외 3명|arXiv (Cornell University)|2022. 05. 31.

Building Energy and Comfort Optimization인용 수 7

한 줄 요약

이 논문은 다양한 건물에서 실세계 건물 제어 실험을 통해 가우시안 프로세스 기반 모델 예측 제어(GP-MPC), 이중계층 데이터 기반 예측 제어(DeePC), 딥 강화 학습(DRL)을 비교한다. 각 방법을 데이터 효율성, 계산 부하, 내성 및 구현 용이성 측면에서 평가하며, 유일한 최적 방법은 없으며 최선의 선택은 데이터 가용성, 시스템 복잡성 및 계산 자원에 따라 달라진다고 결론을 내린다.

ABSTRACT

This manuscript offers the perspective of experimentalists on a number of modern data-driven techniques: model predictive control relying on Gaussian processes, adaptive data-driven control based on behavioral theory, and deep reinforcement learning. These techniques are compared in terms of data requirements, ease of use, computational burden, and robustness in the context of real-world applications. Our remarks and observations stem from a number of experimental investigations carried out in the field of building control in diverse environments, from lecture halls and apartment spaces to a hospital surgery center. The final goal is to support others in identifying what technique is best suited to tackle their own problems.

연구 동기 및 목표

• 실세계 건물 제어 응용 분야에서 현대적인 데이터 기반 제어 기법인 GP-MPC, 이중계층 DeePC, DRL을 평가하고 상호 비교하기.
• 각 방법의 데이터 요구량, 계산 복잡성, 내성 및 사용 용이성 측면에서 장단점을 규명하기.
• 시스템 특성과 가용 자원에 따라 가장 적합한 데이터 기반 제어 방법을 선택하는 데 실용적 지침을 제공하기.
• 병원, 강의실, 아파트에서의 실사용 사례를 통해 실세계 적용 가능성을 강조하는 실험적 통찰을 제공하기.

제안 방법

• GP-MPC는 불확실성 정량화를 포함한 수축 수평 최적화 프레임워크에 예측 평균과 분산을 통합하여 건물 열역학적 거동을 가우시안 프로세스로 모델링한다.
• 이중계층 DeePC는 행동 시스템 이론을 활용해 명시적 모델 구조 없이 데이터에서 직접 제어 정책을 학습하며, 외란에 대한 내성 있는 제곱형 프로그래밍 기반 최적화를 사용한다.
• DRL은 딥 네트워크를 활용해 데이터에서 종단 간 제어 정책을 학습하며, 보상 기반 학습을 통해 온라인 학습 없이도 관측치에서 행동으로 매핑하는 에이전트를 사전 학습한다.
• 모든 방법은 역사적 데이터를 바탕으로 다양한 환경 조건에서 수집된 실건물에서 평가되었으며, 병원 수술실, 강의실(Polydome), NEST 건물 내 아파트에서 실시되었다.
• 데이터 효율성, 계산 비용(오프라인 및 온라인), 제약 조건 처리 능력, 외부 간섭 및 예측 불가능한 데이터에 대한 내성 측면에서 제어 전략을 비교하였다.
• 기상 예보는 GP-MPC와 DeePC에서 예측에 사용되었으며, DRL은 경험을 통해 향후 조건을 암묵적으로 예측하지만, 더 나은 내성 확보를 위해 예보를 관측치에 통합할 수 있다.

실험 결과

연구 질문

• RQ1 실세계 건물 제어 시나리오에서 GP-MPC, 이중계층 DeePC, DRL은 데이터 효율성과 모델 학습 요구사항 측면에서 어떻게 비교될 수 있는가?
• RQ2 각 방법의 실사용 건물 제어 구현에서 오프라인 및 온라인 계산 부담은 어떠한가?
• RQ3 세 방법은 외부 간섭 또는 예측 불가능한 조건에서 제약 조건을 어떻게 처리하고 내성을 유지하는가?
• RQ4 DRL 에이전트는 명시적 예보 없이도 예측 불가능한 조건으로 일반화할 수 있는 정도는 어느 정도이며, 모델 기반 접근법과 비교해 볼 때 어떤가?
• RQ5 GP-MPC의 불확실성 추정과 DeePC의 내성 형식화는 실세계 설정에서 신뢰할 수 있는 제어를 위해 어떻게 기여하는가?

주요 결과

• GP-MPC는 매우 높은 데이터 효율성을 보였으며, GPU 없이도 15~120초 내에 300개 데이터 포인트만으로 모델 피팅이 가능했고, 불확실성 추정 덕분에 내성이 향상되었다.
• DeePC는 오프라인 계산이 필요 없었고 구현이 가장 쉬웠지만, 선형 또는 근사 선형 시스템에 국한되었으며 내성 형식화의 정교한 튜닝이 필요했다.
• DRL은 대규모 데이터셋과 GPU 기반 오프라인 학습에 최대 몇 일 간 소요되었지만, 신경망을 한 번의 전방 전파로 빠른 온라인 추론이 가능해 거의 즉각적인 제어 동작을 구현할 수 있었다.
• GP-MPC는 런타임에서 가장 계산 부담이 크며, 비볼록 최적화로 인해 제어 업데이트당 약 20초가 소요되었지만, 일반적인 5~15분의 샘플링 간격을 감안하면 수용 가능했다.
• 모든 방법이 실건물에서 온도 제어에 성공했지만, DRL은 명시적 제약 조건이 없고 분포 외 데이터에 민감하여 제약 위반 경향을 보였다.
• GP-MPC의 불확실성 정량화와 DeePC의 내성 형식화가 제약 위반을 방지하는 데 기여했으며, DRL 에이전트는 안전한 운영을 보장하기 위해 추가 메커니즘이 필요했다.