[論文レビュー] Unravelling the Performance of Physics-informed Graph Neural Networks for Dynamical Systems

Abishek Thangamuthu, Deepak Kumar+4 more|arXiv (Cornell University)|Nov 10, 2022

Model Reduction and Neural Networks被引用数 12

ひとこと要約

本稿では、力学的システムのシミュレーションを目的とした13種類の物理情報付きグラフニューラルネットワーク（GNN）を評価し、明示的な誘導的バイアス（制約、分離された運動エネルギー／ポテンシャルエネルギー、ハミルトニアン／ラグランジュ形式）が、ロールアウト精度、エネルギー／運動量の保存、および訓練データとは桁違いに大きな系サイズへのゼロショット一般化性能を顕著に向上させることを示している。物理情報付きGNNは、すべてのモデルが訓練データの10倍の規模の系に一般化可能であり、HgnnとGnodeが効率と精度のトレードオフにおいて最も優れた性能を示している。

ABSTRACT

Recently, graph neural networks have been gaining a lot of attention to simulate dynamical systems due to their inductive nature leading to zero-shot generalizability. Similarly, physics-informed inductive biases in deep-learning frameworks have been shown to give superior performance in learning the dynamics of physical systems. There is a growing volume of literature that attempts to combine these two approaches. Here, we evaluate the performance of thirteen different graph neural networks, namely, Hamiltonian and Lagrangian graph neural networks, graph neural ODE, and their variants with explicit constraints and different architectures. We briefly explain the theoretical formulation highlighting the similarities and differences in the inductive biases and graph architecture of these systems. We evaluate these models on spring, pendulum, gravitational, and 3D deformable solid systems to compare the performance in terms of rollout error, conserved quantities such as energy and momentum, and generalizability to unseen system sizes. Our study demonstrates that GNNs with additional inductive biases, such as explicit constraints and decoupling of kinetic and potential energies, exhibit significantly enhanced performance. Further, all the physics-informed GNNs exhibit zero-shot generalizability to system sizes an order of magnitude larger than the training system, thus providing a promising route to simulate large-scale realistic systems.

研究の動機と目的

• 物理情報付きGNNの力学的システムシミュレーションにおける精度、保存則、一般化性能の評価。
• ハミルトニアン、ラグランジュ、ニュートン形式といった異なる誘導的バイアスが物理的システムにおけるGNN性能に与える影響の調査。
• 明示的な制約と運動エネルギー／ポテンシャルエネルギーの分離が、モデルの一般化性能および保存性を向上させる役割を評価。
• 訓練データの系サイズよりも著しく大きな系サイズへのGNNのゼロショット一般化可能性の検証。
• 特に2階微分を含むモデルを想定した場合の、異なるGNNアーキテクチャにおける学習・推論の効率と性能のトレードオフの比較。

提案手法

• 本研究では、GNN-ODE（Gnode）、ハミルトニアンGNN（Hgnn）、ラグランジュGNN（Lgnn）およびその制約付き・分離型変種を含む13種類のGNN変種を評価した。
• モデルは、基礎方程式の知識を一切持たない位置・速度の軌道データのみで学習され、ラグランジュ、ハミルトニアン、またはODE形式を用いて物理的誘導的バイアスを組み込んだ。
• 誘導的バイアスはアーキテクチャ設計により強制された：制約は明示的にモデル化され、運動エネルギー／ポテンシャルエネルギー項はカルテシアン座標系で分離され、不自然な混合項を低減した。
• 性能評価は、ばね質量系、振り子、重力N体系、3次元変形性固体という4つの系を用い、ロールアウト誤差、エネルギー／運動量保存、未学習の系サイズへの一般化性能を評価した。
• 誤差指標の95％信頼区間を算出するために、各系に対して100通りのランダムな初期条件を用いて実験を行った。
• 計算効率の評価のため、学習・推論時間を測定した。特に2階微分を含むモデル（例：Lgnn）の性能に注目した。

実験結果

リサーチクエスチョン

• RQ1 ハミルトニアン、ラグランジュ、ODEといった異なる物理情報付き誘導的バイアス（ハミルトニアン、ラグランジュ、ODE）は、力学的システムのシミュレーションにおけるGNN性能にどのように影響するか？
• RQ2 明示的な制約と運動エネルギー／ポテンシャルエネルギーの分離は、GNNの一般化性能および物理的量の保存性をどの程度向上させるか？
• RQ3 物理情報付きGNNは、訓練データの系サイズよりも10倍大きな系サイズへゼロショットで一般化可能か？
• RQ4 特に2階微分を含むモデルを想定した場合、異なるGNNアーキテクチャにおける学習／推論の効率と性能のトレードオフはいかなるものか？
• RQ5 非カオス的かつ微小変位の動的挙動において、物理情報付きGNNは純粋にデータ駆動のGNN（例：FGnode）と比較して、誤差および保存性の点でどのように異なるか？

主な発見

• 物理情報付きGNNは、すべてのモデルが、ロールアウト誤差およびエネルギー／運動量の保存性において、純粋にデータ駆動のFGnodeベースラインを上回ったが、微小変位でカオス的でない3次元弾性変形系の場合は例外であった。
• GNNアーキテクチャに制約を明示的に組み込むことで、学習の難易度が著しく低下し、すべてのモデルファミリーで性能が向上した。
• モデルアーキテクチャ上での運動エネルギー／ポテンシャルエネルギー項の分離により、運動量保存誤差が顕著に低減され、より正確な物理的誘導的バイアスが実現された。
• HgnnとGnodeは、効率と性能のバランスが最も優れており、Lgnnは2階微分を含むため最も遅く、精度に変化は見られなかった。
• 物理情報付きGNNは、すべてのモデルが訓練系サイズの10倍の規模の系に対し、ゼロショット一般化を示し、誤差レベルはほぼ同等を維持した。
• 3次元弾性固体系では、変形が微小かつカオス的でないため、物理情報付きGNNはデータ駆動型GNNと顕著な差を示さなかった。これは、物理的誘導的バイアスが、複雑でカオス的な系において最も効果を発揮することを示唆している。