[論文レビュー] Physics-Guided Machine Learning for Scientific Discovery: An Application in Simulating Lake Temperature Profiles

Xiaowei Jia, Jared Willard+5 more|arXiv (Cornell University)|Jan 28, 2020

Model Reduction and Neural Networks参考文献 39被引用数 41

ひとこと要約

本論文は、エネルギー保存と物理に基づくモデルをLSTMと統合した Physics-Guided Recurrent Neural Networks (PGRNN) を提案し、限定データでの予測精度を高めつつ物理的一貫性を保証する湖の温度を予測する。

ABSTRACT

Physics-based models of dynamical systems are often used to study engineering and environmental systems. Despite their extensive use, these models have several well-known limitations due to simplified representations of the physical processes being modeled or challenges in selecting appropriate parameters. While-state-of-the-art machine learning models can sometimes outperform physics-based models given ample amount of training data, they can produce results that are physically inconsistent. This paper proposes a physics-guided recurrent neural network model (PGRNN) that combines RNNs and physics-based models to leverage their complementary strengths and improves the modeling of physical processes. Specifically, we show that a PGRNN can improve prediction accuracy over that of physics-based models, while generating outputs consistent with physical laws. An important aspect of our PGRNN approach lies in its ability to incorporate the knowledge encoded in physics-based models. This allows training the PGRNN model using very few true observed data while also ensuring high prediction accuracy. Although we present and evaluate this methodology in the context of modeling the dynamics of temperature in lakes, it is applicable more widely to a range of scientific and engineering disciplines where physics-based (also known as mechanistic) models are used, e.g., climate science, materials science, computational chemistry, and biomedicine.

研究の動機と目的

• 物理ベースのモデルと機械学習を組み合わせることで、工学・環境システムのモデル化を改善することを動機づける。
• 純粋な物理ベースモデルの限界（バイアス、パラメータの較正）と純粋なブラックボックスMLの限界（物理的不整合、データ要求の多さ）に対処する。
• 物理法則を保持しつつ、データ駆動学習を活用して深さと時間を横断する湖の温度を予測するフレームワーク（PGRNN）を開発する。
• 合成GLM出力を用いた物理ベースの事前学習を通じてデータ効率の良い学習を実証する。
• Lake Mendotaでこのアプローチを検証し、予測精度と物理的一貫性の双方を評価する。

提案手法

• 深度を入力特徴量として取るグローバルモデルを用い、LSTMベースのRNNを用いて日次の湖温動態を深度横断でモデル化する。
• エネルギー収支を取り入れるため、エネルギーフロー制約を導入し、予測温度を入射/出射熱流と湖のエネルギーに結び付け、損失に物理ベースのペナルティを加える： L = L_RNN + lambda_EC * L_EC。
• 温度、層面積、密度、厚さから湖の熱エネルギー U_t を計算し、氷のない期間には Delta U_t ≈ F_in − F_out をReLUベースの閾値 tau_EC のペナルティで強制する。
• 一般的なGLMによって生成された合成データでPGRNNを事前学習して物理的現実性を注入し初期化を改善し、その後、限られた観測データで微調整を行う。
• 異なるトレーニングデータ割合で評価してデータ効率を検証し、GLMおよび標準RNNのベースラインと比較する。
• Lake Mendotaで21個の隠れユニットを用い、深度を0.5 m単位に離散化し、特定のハイパーパラメータ（tau_EC = 24 W/m^2、lambda_EC = 0.01、学習率 0.005）を用いて実装・検証する。

実験結果

リサーチクエスチョン

• RQ1 データが不足している場合、物理誘導型RNNは従来の物理ベースモデルや純粋なMLより湖の温度予測を改善できるか？
• RQ2 RNN内でエネルギー保存を強制することは、精度を犠牲にすることなく物理的一貫性を改善するか？
• RQ3 合成物理ベースのシミュレーションによる事前学習は、正確な予測のためのデータ要件を減らすか？
• RQ4 PGRNNは深度や季節を越えた湖のシステムでどれだけ一般化できるか？
• RQ5 このアプローチは湖の温度以外の物理駆動ドメインにも適用可能か？

主な発見

方法	0%	0.2%	2%	20%	100%
GLM	2.950( ± NA )	2.616( ± 0.499 )	2.422( ± 0.423 )	2.318( ± 0.368 )	1.836( ± NA )
RNN	-	4.615( ± 0.173 )	2.311( ± 0.240 )	1.531( ± 0.083 )	1.489( ± 0.091 )
RNN EC	-	4.107( ± 0.181 )	2.149( ± 0.163 )	1.489( ± 0.115 )	1.471( ± 0.077 )

• PGRNN（エネルギー保存を取り入れたRNN）は、観測データが限られている場合においても、素のRNNより一貫して性能が向上する。
• 観測データの割合が20%程度であっても、RGRNN ECはRMSEがGLMを100%データで較正した場合と同等かそれ以上となり、20%のRNN ECは完全に較正されたGLMを上回る。
• エネルギー整合性の学習は、GLMおよび素のRNNと比較してエネルギーフラックスの収支と湖のエネルギー変化のずれを低減する。
• 合成GLMデータでの事前学習により、実データが非常に少なくても高い精度を得られ、最適解に近い初期化を助ける。
• エネルギー保存項は物理的妥当性と一般化を高める一方で、ラベルなしのフラックス計算を含む半教師データでも学習可能である。
• Lake Mendota の実験は、深度依存の温度ダイナミクスと季節パターンを捉え、実用的な実現可能性を示す。