[論文レビュー] Physics Guided Recurrent Neural Networks For Modeling Dynamical Systems: Application to Monitoring Water Temperature And Quality In Lakes

Xiaowei Jia, Anuj Karpatne+6 more|arXiv (Cornell University)|Oct 5, 2018

Hydrological Forecasting Using AI参考文献 2被引用数 34

ひとこと要約

本論文は、密度-深さ関係やエネルギー保存則といった物理的制約をLSTMモデルに統合することで、湖の水温およびリン動態の予測精度と科学的整合性を向上させる物理的制約付き再帰的ニューラルネットワーク（PGRNN）を提案する。物理ベースのモデル出力を組み込み、独自の損失関数によって物理法則を強制することで、PGRNNは標準的なRNNや物理モデル単体よりも顕著な改善を達成し、欠損データの処理や物理的妥当性の維持において特に優れた性能を示す。

ABSTRACT

In this paper, we introduce a novel framework for combining scientific knowledge within physics-based models and recurrent neural networks to advance scientific discovery in many dynamical systems. We will first describe the use of outputs from physics-based models in learning a hybrid-physics-data model. Then, we further incorporate physical knowledge in real-world dynamical systems as additional constraints for training recurrent neural networks. We will apply this approach on modeling lake temperature and quality where we take into account the physical constraints along both the depth dimension and time dimension. By using scientific knowledge to guide the construction and learning the data-driven model, we demonstrate that this method can achieve better prediction accuracy as well as scientific consistency of results.

研究の動機と目的

• 純粋にデータ駆動の機械学習モデルが科学的応用において解釈可能性と物理的整合性に欠けるという限界を是正すること。
• 物理ベースのモデルが物理的表現が不完全であるがゆえに不正確になるという欠点を克服すること。
• 物理的知識とデータ駆動学習を効果的に融合するハイブリッドモデリングフレームワークを構築し、精度と科学的妥当性を向上させること。
• 訓練中に物理ベースのモデル出力を事前分布として用いることで、データが乏しい環境でも頑健な予測を可能にすること。
• 密度-深さの単調性やエネルギー保存則といった物理法則を損失関数に直接組み込むことで、物理的に妥当な予測を保証すること。

提案手法

• PGRNNフレームワークは、物理ベースのモデル（例：GLM）の出力を入力特徴量として用い、RNNを物理的事前知識とデータ駆動学習の両方でガイドする。
• 物理ベースのモデル出力（Y_phy）を用いて予測を精緻化し、欠損観測値のギャップを埋めることで、時間的連続性を確保するハイブリッドモデルを訓練する。
• 物理的制約（例：深さに伴う非単調な密度変化や時間的エネルギー不均衡）の違反をペナルティとする非標準的な損失関数を設計する。
• 密度-深さ制約は、水の密度が温度の関数として与えられる既知の物理的式を用い、予測された水の密度が深さとともに単調に増加することを強制する。
• エネルギー保存制約は、体積平均湖水温の変化が、入射および放射エネルギーおよび熱交換から導かれるネットエネルギーフラックスと整合することを保証する。
• 時間的依存性を適切に捉えるために、注意機構を統合した改変LSTMアーキテクチャを用い、物理的制約を組み込むことで一般化性能と安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 物理ベースのモデル出力を再帰的ニューラルネットワークに統合することで、湖水温および水質予測の精度が向上するか？
• RQ2 深さに伴う密度の単調性といった物理的制約を、ニューラルネットワークの学習プロセスにどのように埋め込むことができるか？
• RQ3 湖水温の時間的変化にエネルギー保存則を強制することで、予測の信頼性と滑らかさがどの程度向上するか？
• RQ4 PGRNNは、データが乏しい環境においても、純粋な物理モデルや標準的なRNNを上回るRMSEと物理的妥当性を達成できるか？
• RQ5 物理的ガイドラインに基づく損失関数を用いることで、動的システムの科学的モデリングにおける誤検出の低減と解釈可能性の向上が図れるか？

主な発見

• Lake Mendotaの表層リン濃度予測において、PGRNNはRMSEを0.0237に低減し、物理モデル単体（0.0266）および標準RNN（0.0247）を上回った。
• 密度-深さ制約を適用したPGRNNは、PGRNN0（0.1798）と比較して、物理的整合性の欠如スコアが0.0732にまで低下し、物理的整合性の向上が明確に示された。
• エネルギー保存制約の導入により、図3に示すように、 thermocline（温 salt レイヤー）の深さの時間的変化が滑らかでより現実的になった。
• 湖水温予測においてPGRNNはRMSEが1.4791を達成し、RNN（1.6042）およびANN（1.8830）を上回ったほか、物理的整合性の欠如も低減した。
• 物理ベースのモデル出力を代替データとして用いることで、欠損観測値に対しても完全な時間的トレースを維持することができ、訓練に適した完全な時系列データを確保した。
• 物理法則を損失関数に統合することで、予測は正確さを高めるだけでなく、特に thermocline 動態および垂直密度プロファイルの捉え方において、より科学的に妥当なものとなった。