[論文レビュー] Differentiable Physics-informed Graph Networks

Sungyong Seo, Yan Liu|arXiv (Cornell University)|Feb 8, 2019

Topic Modeling参考文献 25被引用数 47

ひとこと要約

DPGNは微分可能な物理方程式をグラフネットワークに統合し、動的システムをモデル化する。気候データでの実験は、物理に基づく制約と潜在空間表現を組み合わせることで予測と帰納学習を改善することを示す。

ABSTRACT

While physics conveys knowledge of nature built from an interplay between observations and theory, it has been considered less importantly in deep neural networks. Especially, there are few works leveraging physics behaviors when the knowledge is given less explicitly. In this work, we propose a novel architecture called Differentiable Physics-informed Graph Networks (DPGN) to incorporate implicit physics knowledge which is given from domain experts by informing it in latent space. Using the concept of DPGN, we demonstrate that climate prediction tasks are significantly improved. Besides the experiment results, we validate the effectiveness of the proposed module and provide further applications of DPGN, such as inductive learning and multistep predictions.

研究の動機と目的

• 時空間ダイナミクスをモデル化するため、グラフベースのニューラルネットワークに暗黙の物理知識を組み込む。
• 微分可能な物理方程式を活用して潜在表現を正則化・指導する。
• 物理情報を組み込んだGNを用いて気候予測と帰納学習の改善を示す。
• 明示的な物理知識で捉えきれない潜在パターンの学習を可能にする。

提案手法

• システムをノード（頂点）、エッジ、及び高次のクリークを持つグラフとして表現し、情報を伝搬させるためにGraph Networks(GN)を用いる。
• グラフ演算子として実装された拡散・波動などの物理方程式で潜在状態を制約し、微分可能な物理を注入する。
• エンコーダー–GN–デコーダーのパイプラインで潜在表現を学習し、潜在空間で物理に基づく正則化（L_phy）と教師付きタスク損失（L_sup）を適用する。
• 時間を通して潜在グラフ状態を進化させる多ステップ再帰更新を用い、ステップ間で物理制約を課す（L_phyをMステップにわたって適用）。
• 学習と総損失 L = L_sup + lambda * L_phy のバランスを取り、lambdaが物理正則化の強さを調整する。

実験結果

リサーチクエスチョン

• RQ1 既知の物理法則（微分可能な方程式として表現）をグラフネットワークに組み込み、ダイナミクス系のモデリングを改善できるか。
• RQ2 潜在空間で物理制約を課すことが予測精度と安定性を改善し、特に気候データで有効か。
• RQ3 限られたラベルデータの下で頑健性を維持しつつ、DPGNは帰納学習と多ステップ予測をサポートできるか。
• RQ4 部分的または潜在的な物理知識は、完全にデータ駆動の学習と比較して性能と一般化にどのような影響を与えるか。

主な発見

モデル	LA地域（1ステップ MSE）	LA地域（1ステップの標準偏差）	SD地域（1ステップ MSE）	SD地域（1ステップの標準偏差）	LA地域（マルチステップ MSE）	LA地域（マルチステップの標準偏差）	SD地域（マルチステップ MSE）	SD地域（マルチステップの標準偏差）
MLP	0.7930	0.2327	1.0645	0.2634	-	-	-	-
LSTM	0.7378	0.0514	0.9213	0.1049	1.4943	0.0970	1.0873	0.0664
GN-only	0.6035	0.0832	0.7007	0.0848	1.3415	0.1195	1.0422	0.0673
GN-skip	0.56546	0.1015	0.6543	0.1195	1.0257	0.1912	0.9872	0.2425
DPGN	0.4435	0.0378	0.5149	0.0831	0.8677	0.1033	0.6714	0.1106

• DPGNは、1ステップおよびマルチステップの気候予測タスクでベースライン（MLP、LSTM、GNのみ、GN-skip）を上回る。
• 気候データ実験では、DPGNはロサンゼルス地域とサンディエゴ地域の両方で他モデルと比較して最も低いMSEを達成。
• 潜在空間で拡散ベースの物理を組み込むと、潜在状態がより安定し徐々に変化し、長期予測を助ける。
• DPGNは、いくつかの設定でGNのみよりも地域間の帰納的一般化（例: LAからSDへ、SDからLAへ）を示す。
• 監督データが部分的に利用可能な場合でも物理制約は有益で、ラベル付きデータを減らしても競争力のある性能を維持。