[論文レビュー] Physics Guided RNNs for Modeling Dynamical Systems: A Case Study in Simulating Lake Temperature Profiles

Xiaowei Jia, Jared Willard+5 more|arXiv (Cornell University)|Oct 31, 2018

Hydrological Forecasting Using AI参考文献 20被引用数 13

ひとこと要約

本稿では、エネルギー保存則を含む物理法則をRNNアーキテクチャに統合することで、湖の水温ダイナミクスのモデリングを改善する、物理的誘導型再帰ニューラルネットワーク（PGRNN）を提案する。データ駆動型学習と物理的正則化を組み合わせることで、純粋な物理モデルより高い精度、標準的なRNNより高い物理的整合性、特に限られた観測データにおける一般化性能を達成する。

ABSTRACT

This paper proposes a physics-guided recurrent neural network model (PGRNN) that combines RNNs and physics-based models to leverage their complementary strengths and improve the modeling of physical processes. Specifically, we show that a PGRNN can improve prediction accuracy over that of physical models, while generating outputs consistent with physical laws, and achieving good generalizability. Standard RNNs, even when producing superior prediction accuracy, often produce physically inconsistent results and lack generalizability. We further enhance this approach by using a pre-training method that leverages the simulated data from a physics-based model to address the scarcity of observed data. The PGRNN has the flexibility to incorporate additional physical constraints and we incorporate a density-depth relationship. Both enhancements further improve PGRNN performance. Although we present and evaluate this methodology in the context of modeling the dynamics of temperature in lakes, it is applicable more widely to a range of scientific and engineering disciplines where mechanistic (also known as process-based) models are used, e.g., power engineering, climate science, materials science, computational chemistry, and biomedicine.

研究の動機と目的

• 完全な知識の欠如や計算制約によって生じるパラメータの不確実性やモデル近似の問題を抱える純粋な物理モデルの限界を是正すること。
• 物理法則に違反しやすく、学習データの外側への一般化に失敗するブラックボックス型機械学習モデルの欠点を克服すること。
• 物理モデルとディープラーニングの長所を活かしたハイブリッドモデリングフレームワークを構築し、精度と物理的整合性を向上させること。
• 実世界の観測データが限られる状況でも、物理モデルから生成されたシミュレートデータを用いた事前学習により、データ効率性を高めること。
• 湖の水温モデリングを超えて、力学的システムを含む他の科学的・工学的分野への応用可能性を示すこと。

提案手法

• PGRNNモデルは、観測データからの時間的依存性学習のための1本のRNNストリームと、物理的誘導型損失関数を介してエネルギー保存則を強制するもう1本のストリームの2本の並列RNNストリームを用いる。
• 物理的誘導型損失関数は、エネルギーバランスからの逸脱をペナルティ化することでモデルを正則化し、物理的に妥当な時間的経路を保証する。
• 実データが限られる状況でも性能を向上させるために、物理ベースの湖モデル（GLM）から生成された合成データを用いた事前学習が行われる。
• 標準的なRNNによるデータ適合と、時間にわたるエネルギー保存を強制するエネルギーフローの2つの再帰的フローをアーキテクチャに統合する。
• 質量保存などの他の物理法則にも一般化可能であり、栄養循環や農業モデリングなど多様なシステムへの応用が可能である。
• 分野特有の物理的制約を統合可能であり、科学的応用における解釈可能性と信頼性を高める。

実験結果

リサーチクエスチョン

• RQ1 RNNと物理的制約を組み合わせたハイブリッドモデルは、湖の水温シミュレーションにおいて、従来の物理モデルよりも予測精度を向上させることができるか？
• RQ2 限られたデータで学習させた場合でも、エネルギー保存則のような基本的法則を尊重する物理的に整合性のある出力を得られるか？
• RQ3 物理的シミュレーションデータを用いた事前学習が、モデルの性能と未観測の気候条件への一般化能力に与える影響は何か？
• RQ4 PGRNNフレームワークは、湖の水温モデリングを超えて、他の力学的システムへどの程度一般化可能か？
• RQ5 物理的妥当性の観点から、標準的なブラックボックス型RNNよりも、精度と物理的妥当性の両面で優れているか？

主な発見

• PGRNNは、観測された湖の水温データにおいて、ベースラインの物理モデル（GLM）よりも高い予測精度を達成し、データ駆動型の改善効果を示した。
• エネルギー保存則の強制により、標準的なRNNがよく見られる物理的に不適切な振動を回避する物理的に整合性のある出力を得た。
• GLMから生成されたシミュレートデータを用いた事前学習は、実データが限られる状況で性能を著しく向上させ、データ効率性を高めた。
• 物理的制約が欠如する標準的なRNNとは異なり、PGRNNは未観測の気候シナリオへの一般化性能が優れており、外挿が可能である。
• 二重ストリームアーキテクチャにより、複雑な時間的パターンを学習しつつ物理的整合性を維持でき、純粋な機械学習モデルおよび純粋な物理モデルを上回る性能を発揮した。
• 質量保存などの他の物理法則への拡張性も持つため、環境および工学的システムへの広範な応用が可能である。