[論文レビュー] Physically Consistent Neural Networks for building thermal modeling: theory and analysis

Loris Di Natale, Bratislav Svetozarevic+2 more|arXiv (Cornell University)|Dec 6, 2021

Model Reduction and Neural Networks被引用数 8

ひとこと要約

本稿では、物理的知識を線形モジュールとして深層ニューラルネットワークと並列に統合する、物理的整合性を持つニューラルネットワーク（PCNN）という新しいニューラルネットワークアーキテクチャを提案する。このアーキテクチャにより、建物の熱的予測において熱力学的整合性が保証される。PCNNは3日間の予測期間において、古典的なRCモデルと比較して40％低い誤差を達成しながら、一般化のロバスト性を維持し、検証データ上での標準LSTMを上回る性能を発揮する。

ABSTRACT

Due to their high energy intensity, buildings play a major role in the current worldwide energy transition. Building models are ubiquitous since they are needed at each stage of the life of buildings, i.e. for design, retrofitting, and control operations. Classical white-box models, based on physical equations, are bound to follow the laws of physics but the specific design of their underlying structure might hinder their expressiveness and hence their accuracy. On the other hand, black-box models are better suited to capture nonlinear building dynamics and thus can often achieve better accuracy, but they require a lot of data and might not follow the laws of physics, a problem that is particularly common for neural network (NN) models. To counter this known generalization issue, physics-informed NNs have recently been introduced, where researchers introduce prior knowledge in the structure of NNs to ground them in known underlying physical laws and avoid classical NN generalization issues. In this work, we present a novel physics-informed NN architecture, dubbed Physically Consistent NN (PCNN), which only requires past operational data and no engineering overhead, including prior knowledge in a linear module running in parallel to a classical NN. We formally prove that such networks are physically consistent - by design and even on unseen data - with respect to different control inputs and temperatures outside and in neighboring zones. We demonstrate their performance on a case study, where the PCNN attains an accuracy up to 40% better than a classical physics-based resistance-capacitance model on 3-day long prediction horizons. Furthermore, despite their constrained structure, PCNNs attain similar performance to classical NNs on the validation data, overfitting the training data less and retaining high expressiveness to tackle the generalization issue.

研究の動機と目的

• 建物熱的モデリングにおける古典的ニューラルネットワークの一般化不能性を解決する。具体的には、熱力学などの物理法則に違反する可能性がある点を改善する。
• 完全にデータ駆動のモデルの限界を克服するため、エンジニアリングのオーバーヘッドを伴わずに、ネットワークアーキテクチャに物理的制約を直接埋め込む。
• 長期間予測においても、すべての制御入力および外部温度条件下で物理的整合性を維持するモデルを開発する。
• 深層学習の表現力は保ちつつ、古典的な物理ベースのモデル（例：RCモデル）を上回る予測精度を実現する。
• 強化学習などの制御指向の応用分野で信頼性を持って利用可能なニューラルネットワークを可能にする。物理的妥当性が必須である分野において特に重要である。

提案手法

• 標準的な深層ニューラルネットワークが一般入力を処理する一方で、別個の線形モジュールが既知のパラメータ（例：熱伝達係数）を用いて物理法則を符号化するハイブリッドアーキテクチャを設計する。
• 外部温度、隣接ゾーン温度、日射取得、制御入力などの重要な入力を線形変換することで、ネットワーク出力予測に物理的制約を統合する。
• 訓練時および推論時において、任意の制御入力と外部温度の組み合わせに対して、ネットワーク出力が物理的に整合的であることを形式的に証明する。
• ブラックボックスなニューラルネットワークと物理知見に基づくモジュールの間に残差接続を設けることで、理想物理挙動からの逸脱を学習しつつも、整合性を保持できるようにする。
• エンジニアリングの専門知識や物理パラメータの手動チューニングを必要とせず、過去の運用データのみでモデルを学習する。
• 物理的妥当性を維持しながら、事前知識（例：スケーリングパラメータa, b, c, d）で初期化された物理モジュールを学習中に微調整可能にする。

実験結果

リサーチクエスチョン

• RQ1 エンジニアリングの専門知識を必要とせずに、建物熱的予測における物理的整合性を保証するニューラルネットワークアーキテクチャを設計可能か？
• RQ2 ネットワーク構造に物理法則を直接埋め込むことで、標準的なニューラルネットワークと比較して一般化性能が向上するか？
• RQ3 データ駆動型モデルが、物理的整合性を保ちつつ、長期間予測において古典的な物理ベースのRCモデルをどれだけ上回れるか？
• RQ4 分布シフト下でも、PCNNの訓練誤差および検証誤差は、標準的なディープラーニングモデル（例：LSTM）と比較してどの程度優れているか？
• RQ5 初期値が非理想的であっても、物理知見に基づくモジュールがデータから効果的に学習可能であり、物理的妥当性を維持できるか？

主な発見

• PCNNは、3日間の予測期間において、チューニング済みの古典的RCモデルと比較して40％の誤差低減を達成した。
• 制約された構造にもかかわらず、PCNNは検証データ上での標準LSTMと同等の性能を発揮したが、訓練中における過学習が著しく少なかった。
• PCNNは古典的ニューラルネットワークよりも一般化性能に優れている。訓練時ではやや劣るが、検証データでは顕著に優れた性能を示し、過学習の低減とロバストネスの向上を示している。
• 形式的に証明されたように、PCNNは訓練時および推論時において、すべてのテストされた制御入力および外部温度条件下で物理的整合性を維持している。
• 物理知見に基づくモジュールは学習全体を通じて物理的妥当性を保ち続け、パラメータa, b, c, dが初期値の周辺でゆっくりと調整されるが、物理的制約に違反しない。
• PCNNはエンジニアリングのオーバーヘッドや物理パラメータの手動チューニングを一切必要とせず、実世界の建物制御応用において非常に柔軟かつ容易に展開可能である。