[論文レビュー] Variational integrator graph networks for learning energy-conserving dynamical systems

Shaan Desai, Marios Mattheakis+1 more|arXiv (Cornell University)|Jan 1, 2021

Model Reduction and Neural Networks参考文献 17被引用数 14

ひとこと要約

この論文は、エネルギー保存則、シンプレクティック積分法、およびグラフベースの構造的インダクティブバイアスを統合することで、ノイズの多いデータから物理系の長期的ダイナミクスを学習する、新しいニューラルネットワークアーキテクチャである変分積分器グラフネットワーク（VIGNs）を提案する。高次元の変分積分法（分割ルンゲ＝クッタ法を介して）とグラフニューラルネットワーク、およびポテンシャルエネルギー制約を組み合わせることで、従来の物理学にインスパイアされたモデルと比較して、単体および多数体系の両方において優れた予測精度とデータ効率を達成する。

ABSTRACT

Recent advances show that neural networks embedded with physics-informed priors significantly outperform vanilla neural networks in learning and predicting the long-term dynamics of complex physical systems from noisy data. Despite this success, there has only been a limited study on how to optimally combine physics priors to improve predictive performance. To tackle this problem we unpack and generalize recent innovations into individual inductive bias segments. As such, we are able to systematically investigate all possible combinations of inductive biases of which existing methods are a natural subset. Using this framework we introduce variational integrator graph networks-a novel method that unifies the strengths of existing approaches by combining an energy constraint, high-order symplectic variational integrators, and graph neural networks. We demonstrate, across an extensive ablation, that the proposed unifying framework outperforms existing methods, for data-efficient learning and in predictive accuracy, across both single- and many-body problems studied in the recent literature. We empirically show that the improvements arise because high-order variational integrators combined with a potential energy constraint induce coupled learning of generalized position and momentum updates which can be formalized via the partitioned Runge-Kutta method.

研究の動機と目的

• 個々の物理学にインスパイアされたインダクティブバイアスがエネルギー保存型力学系の学習に与える影響を体系的かつ系統的に調査すること。
• 予測性能の向上に寄与する最適なインダクティブバイアスの組み合わせ——特にハミルトニアン制約、シンプレクティック積分法、およびグラフ構造——を同定すること。
• HNNs、OGNs、VINsといった既存手法の核心的特長を統合することで、それらを一般化する統一フレームワークを構築すること。
• 高次元の変分積分法による位置・運動量の連携更新が、低次元または非シンプレクティック手法と比較して、学習精度とエネルギー保存性を著しく向上させることを示すこと。

提案手法

• システムの構造と粒子またはコンponents間の相互作用をモデル化するために、グラフニューラルネットワーク（GNNs）を用いる。
• 時間積分中に長期的なエネルギー保存を保証するために、分割ルンゲ＝クッタ（PRK）法を用いて高次元のシンプレクティックな変分積分法を組み込む。
• ポテンシャルエネルギー関数の予測をニューラルネットワークに学習させることでポテンシャルエネルギー制約を強制し、運動量から分離することでより効率的な学習を可能にする。
• 自動微分を用いて学習済みポテンシャルエネルギー関数から時間微分を計算し、システムのエネルギー保存型の進化を可能にする。
• ノイズの多い観測値が存在する状況でも、状態とエネルギーの軌道における予測誤差を最小化する損失関数を用いて、エンドツーエンドでモデルを訓練する。
• 個々のインダクティブバイアスの系統的アブレーションを可能にするフレームワークを提供し、性能への寄与を分離して評価する。

実験結果

リサーチクエスチョン

• RQ1 ハミルトニアン制約、シンプレクティック積分法、グラフ構造、およびポテンシャルエネルギー学習というインダクティブバイアスの組み合わせの中で、エネルギー保存型システムの予測性能を最も高めるのはどれか？
• RQ2 PRK法を介した高次元の変分積分法を用いることで、低次元または非シンプレクティック手法と比較して、位置と運動量の更新の結合性はどのように向上するか？
• RQ3 ポテンシャルエネルギー制約を強制することで、ノイズの多い学習状況におけるデータ効率と一般化性能はどの程度向上するか？
• RQ4 提案された統合フレームワークは、HOGNs、OGNs、HNNs、VINsといった既存の最先端モデルを、多様な物理系において上回ることができるか？
• RQ5 位置・運動量の連携学習が、長期的なエネルギー保存性と軌道精度の向上に果たす役割は何か？

主な発見

• ノイズの多い学習データを用いたエネルギー保存型システムにおいて、VIGNsはHOGNs、OGNs、HNNs、VINsを含むすべてのベースラインを上回り、状態およびエネルギー予測における平均二乗誤差（MSE）が低くなる。
• ノイズの多い5スプリング粒子系では、VIGNsは状態MSEを最大10倍、エネルギーMSEを最大100倍まで低減した。
• ノイズの多い3体重力系では、500ステップにわたり平均エネルギー誤差が1e-3未満でエネルギー保存を維持し、HNN や PGN よりも顕著に優れた性能を示した。
• アブレーションスタディの結果、高次元の変分積分法とポテンシャルエネルギー制約の組み合わせが、特にデータが限られた状況で最大の性能向上をもたらすことが確認された。
• ロールアウト可視化の結果、VIGNsは特に長期的な時間スパンにおいて、RK4ベースのベースラインと比較してより正確で安定した軌道を生成した。
• ノイズの多い初期条件に対してもロバストであることが示され、25のテスト初期条件における幾何平均MSEが、すべてのベースラインを下回った。