[論文レビュー] Physics-guided Neural Networks (PGNN): An Application in Lake Temperature Modeling

Arka Daw, Anuj Karpatne+3 more|arXiv (Cornell University)|Oct 31, 2017

Hydrological Forecasting Using AI被引用数 316

ひとこと要約

この論文は、物理ベースのモデル出力とニューラルネットワーク、および物理ベースの損失関数を組み合わせて湖の温度を予測する Physics-guided Neural Networks (PGNN) を提案します。PGNN は一般化性能を改善し、純データ駆動型モデルや物理モデルのみのモデルと比べて物理的一貫性を確保します。

ABSTRACT

This paper introduces a framework for combining scientific knowledge of physics-based models with neural networks to advance scientific discovery. This framework, termed physics-guided neural networks (PGNN), leverages the output of physics-based model simulations along with observational features in a hybrid modeling setup to generate predictions using a neural network architecture. Further, this framework uses physics-based loss functions in the learning objective of neural networks to ensure that the model predictions not only show lower errors on the training set but are also scientifically consistent with the known physics on the unlabeled set. We illustrate the effectiveness of PGNN for the problem of lake temperature modeling, where physical relationships between the temperature, density, and depth of water are used to design a physics-based loss function. By using scientific knowledge to guide the construction and learning of neural networks, we are able to show that the proposed framework ensures better generalizability as well as scientific consistency of results. All the code and datasets used in this study have been made available on this link \url{https://github.com/arkadaw9/PGNN}.

研究の動機と目的

• データが限られた状況下で科学的発見と一般化を高めるために、物理ベースのモデルとニューラルネットワークを組み合わせる動機付け。
• 物理出力を特徴量として活用するハイブリッドハイブリッド-物理データ (HPD) モデリングフレームワークを提案する。
• 未ラベルデータ上で物理的一貫性を強制する物理ベースの損失関数を導入し、一般化を改善する。
• 温度–密度–深さの物理関係を取り入れることで、湖の温度モデリングにおいてPGNNを実証する。

提案手法

• 物理ベースのモデル出力 (Y_PHY) を入力駆動因子とともにニューラルネットワークの特徴量として入力することで、HPD モデルを構築します。
• 経験的損失、モデルの複雑さ、未ラベルデータで計算可能な物理ベースの損失 (Loss.PHY) を組み合わせた学習目的を定義します。
• 湖の温度のための特定の物理ベースの方程式を、Temperature–Density および Density–Depth の関係を含めて定式化し、Loss.PHY（式3および式14）を構築します。
• 3 層の全結合ニューラルネットワークを、各層 12 ノードで使用し、AdaDelta、バッチサイズ 1000、早期停止で学習します。
• Mille Lacs Lake および Lake Mendota からの 3000 サンプルの学習データセットを用いて PHY をキャリブレーションし、未ラベルデータ上で物理ベースの損失と、ラベル付きテストセットの RMSE によって評価します。

実験結果

リサーチクエスチョン

• RQ1 PGNN は純粋に物理ベースのモデルや純粋にデータ駆動型のモデルよりも RMSE を低く抑えつつ、物理的一貫性を保てるのか？
• RQ2 物理ベースの損失を組み込むことで未ラベルデータの物理的不整合を減らし、湖間での一般化を改善できるのか？

主な発見

• PGNN は Mille Lacs Lake で PHY およびブラックボックスモデルよりも低い RMSE（0.73 RMSE）を達成し、ほぼゼロに近い物理的不整合を示した。
• PGNN は Lake Mendota で RMSE 1.79 を達成し、物理的一貫性を維持しつつベースライン手法を上回った。
• NN および PGNN0 は PHY よりも低い RMSE を示すが、物理的不整合が非常に高い（時間ステップの >50%）。
• 物理重みハイパーパラメータ lambda_PHY を増やすと、RMSE に大きな悪影響を与えずに物理的一貫性を改善できる。
• PGNN は物理 guided 正則化により、少数の学習データセットでも堅牢な性能を示す。