[논문 리뷰] Physically Consistent Neural Networks for building thermal modeling: theory and analysis

Loris Di Natale, Bratislav Svetozarevic외 2명|arXiv (Cornell University)|2021. 12. 06.

Model Reduction and Neural Networks인용 수 8

한 줄 요약

이 논문은 열역학적 일관성을 보장하는 물리적 지식을 선형 모듈을 통해 깊이 있는 신경망과 병렬로 통합하는 새로운 신경망 아키텍처인 물리적 일관성 신경망(PCNN)을 제안한다. PCNN은 3일 예측 수평에서 기존의 저항-용량(RC) 모델 대비 40% 낮은 오차를 기록하면서 일반화 능력은 유지하고, 검증 데이터에서 표준 LSTMs를 능가한다.

ABSTRACT

Due to their high energy intensity, buildings play a major role in the current worldwide energy transition. Building models are ubiquitous since they are needed at each stage of the life of buildings, i.e. for design, retrofitting, and control operations. Classical white-box models, based on physical equations, are bound to follow the laws of physics but the specific design of their underlying structure might hinder their expressiveness and hence their accuracy. On the other hand, black-box models are better suited to capture nonlinear building dynamics and thus can often achieve better accuracy, but they require a lot of data and might not follow the laws of physics, a problem that is particularly common for neural network (NN) models. To counter this known generalization issue, physics-informed NNs have recently been introduced, where researchers introduce prior knowledge in the structure of NNs to ground them in known underlying physical laws and avoid classical NN generalization issues. In this work, we present a novel physics-informed NN architecture, dubbed Physically Consistent NN (PCNN), which only requires past operational data and no engineering overhead, including prior knowledge in a linear module running in parallel to a classical NN. We formally prove that such networks are physically consistent - by design and even on unseen data - with respect to different control inputs and temperatures outside and in neighboring zones. We demonstrate their performance on a case study, where the PCNN attains an accuracy up to 40% better than a classical physics-based resistance-capacitance model on 3-day long prediction horizons. Furthermore, despite their constrained structure, PCNNs attain similar performance to classical NNs on the validation data, overfitting the training data less and retaining high expressiveness to tackle the generalization issue.

연구 동기 및 목표

• 열역학과 같은 물리 법칙을 위반할 수 있는 고전적 신경망의 일반화 실패 문제를 해결한다.
• 순수 데이터 기반 모델의 한계를 극복하기 위해 물리적 제약 조건을 아키텍처에 직접 통합함으로써 엔지니어링 오버헤드 없이 구현한다.
• 장기 예측 기간 동안 모든 제어 입력과 외부 온도 조건에서도 물리적 일관성을 유지하는 모델을 개발한다.
• 깊이 학습의 표현력은 유지하면서도 고전적 물리 기반 모델(예: RC 모델)보다 예측 정확도를 향상시킨다.
• 신뢰할 수 있는 제어 기반 응용(예: 강화 학습)에서 신경망을 사용할 수 있도록 보장한다. 여기서 물리적 타당성은 필수 조건이다.

제안 방법

• 표준 깊이 신경망이 일반 입력을 처리하는 하이브리드 아키텍처를 설계하며, 별도의 선형 모듈이 알려진 파rameter(예: 열전달 계수)를 사용해 물리 법칙을 표현한다.
• 외부 온도, 인접한 구역 온도, 일사 복사량, 제어 입력과 같은 핵심 입력을 선형 변환하여 네트워크 출력 예측에 통합한다.
• 모든 제어 입력 조합과 외부 온도 조건에서 학습 및 추론 과정에서 네트워크 출력이 물리적으로 일관되도록 수학적으로 증명한다.
• 블랙박스 신경망과 물리 기반 모듈 간 잔차 연결을 사용하여, 이상적인 물리적 행동에서의 편차를 학습하면서도 일관성을 유지한다.
• 엔지니어링 전문 지식이나 물리적 파rameter 수동 조정 없이 과거 운영 데이터만으로 모델을 학습한다.
• 기존 지식(예: 스케일링 파rameter a, b, c, d)을 사용해 물리 모듈을 초기화하고, 학습 중에 물리적 타당성을 유지하면서도 조정 가능하게 한다.

실험 결과

연구 질문

• RQ1 엔지니어링 전문 지식이 필요 없이 건물 열 예측에서 물리적 일관성을 보장하는 신경망 아키텍처를 설계할 수 있는가?
• RQ2 네트워크 구조에 직접 물리 법칙을 통합함으로써 표준 신경망 대비 일반화 성능 향상이 이루어지는가?
• RQ3 장기 예측 수평에서 전통적인 물리 기반 RC 모델을 능가하면서도 물리적 일관성을 유지할 수 있는 데이터 기반 모델의 성능 한계는 어디까지인가?
• RQ4 분포 이탈 상황에서 PCNN의 훈련 오차 및 검증 오차는 표준 딥 러닝 모델(LSTM 등)과 비교해 어떻게 나타나는가?
• RQ5 비이상적인 초기값으로 설정된 경우에도 데이터로부터 물리 기반 모듈을 효과적으로 학습하면서 물리적 타당성을 유지할 수 있는가?

주요 결과

• PCNN은 3일 예측 수평에서 최적화된 고전적 저항-용량(RC) 모델 대비 40% 낮은 예측 오차를 기록한다.
• 제약이 있는 아키텍처임에도 불구하고, 훈련 과정에서 과적합이 적고 검증 데이터에서 표준 LSTMs와 동등한 성능을 보인다.
• PCNN은 고전적 신경망보다 더 우수한 일반화 성능을 보이며, 훈련 시에는 성능이 떨어지지만 검증 데이터에서는 뚜렷이 향상되어 과적합 감소와 강건성 향상을 시사한다.
• 학습 및 추론 과정에서 모든 테스트된 제어 입력과 외부 온도 조건에서 물리적 일관성이 수학적으로 증명된 바 있다.
• 학습 전반에 걸쳐 물리 기반 모듈은 물리적 타당성을 유지하며, a, b, c, d 등의 파rameter가 초기값 주변에서 서서히 조정되며 물리적 제약을 위반하지 않는다.
• PCNN은 엔지니어링 오버헤드나 물리적 파rameter의 수동 조정이 필요 없어, 실세계 건물 제어 응용 분야에서 매우 유연하고 구현 가능하다.