[論文レビュー] Lagrangian Neural Networks

Miles Cranmer, Sam Greydanus+4 more|arXiv (Cornell University)|Mar 10, 2020

Computational Physics and Python Applications参考文献 20被引用数 66

ひとこと要約

本論文は、ニューラルネットワークで任意のラグランジアンを学習し、標準座標を必要とせずエネルギー保存ダイナミクスを実現する Lagrangian Neural Networks (LNNs) を提案し、グラフ構造および連続系へ拡張する Lagrangian Graph Network を通じて拡張した。

ABSTRACT

Accurate models of the world are built upon notions of its underlying symmetries. In physics, these symmetries correspond to conservation laws, such as for energy and momentum. Yet even though neural network models see increasing use in the physical sciences, they struggle to learn these symmetries. In this paper, we propose Lagrangian Neural Networks (LNNs), which can parameterize arbitrary Lagrangians using neural networks. In contrast to models that learn Hamiltonians, LNNs do not require canonical coordinates, and thus perform well in situations where canonical momenta are unknown or difficult to compute. Unlike previous approaches, our method does not restrict the functional form of learned energies and will produce energy-conserving models for a variety of tasks. We test our approach on a double pendulum and a relativistic particle, demonstrating energy conservation where a baseline approach incurs dissipation and modeling relativity without canonical coordinates where a Hamiltonian approach fails. Finally, we show how this model can be applied to graphs and continuous systems using a Lagrangian Graph Network, and demonstrate it on the 1D wave equation.

研究の動機と目的

• ラグランジアン力学に基づくより強い事前知識を用いて物理的ダイナミクスの学習を動機づける。
• 運動エネルギーの形を制限せずにラグランジアンを学習するニューラルフレームワークを開発する。
• 正準座標が未知または利用できない場合でも、正確でエネルギー保存的なダイナミクスを実現する。
• PDE風のタスクに対して、LNN をグラフ構造および連続系へ拡張する Lagrangian Graph Network を介して拡張する。

提案手法

• オイラー-ラグランジュ方程式から、ニューラルネットワークでパラメータ化されたラグランジアン L(q, qdot) を用いてダイナミクスを定式化する。
• Hessian と勾配を含む行列方程式を解くことで加速度を求める。式は ddot{q} = (∇_{qdot} ∇_{qdot}^T L)^{-1} [∇_q L - (∇_q ∇_{qdot}^T L) dot{q}] 。
• 予測加速度 ddot{x}^L と真の加速度 ddot{x}^true との乖離を最小化することで訓練する。
• 正準運動量を必要とするハミルトニアン系とは異なり、非正準座標を許容する。
• 局所ラグランジアン密度を連結座標群ごとに総和して波動方程式をモデル化することで、Lagrangian Graph Networks に拡張する。
• 効率的なフォワードモデリングおよび逆ヘシアン計算のためにJAXを用いる；LNNsに特化した新規初期化戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、正準座標を課さず任意のラグランジアンを学習できるか？
• RQ2 長時間ダイナミクスにおいて、Lagrangian Neural Networks はベースラインモデルよりエネルギーをより効果的に保存するか？
• RQ3 非正準座標データに対するラグランジアン形式は、ハミルトニアンベースのアプローチと比較してどう機能するか？
• RQ4 LNNフレームワークは、Lagrangian Graph Network (LGN) を介してグラフ構造化または連続系へ拡張できるか？
• RQ5 安定なLNN学習のための実践的な訓練上の考慮事項（活性化関数の選択、初期化など）は何か？

主な発見

• LNNはダブルペンデュラムに対して総エネルギーをベースラインニューラルネットワークよりはるかに正確に保存し、エネルギーのずれはLNNで最大ポテンシャルエネルギーの約0.4%、ベースラインで約8%である。
• 非正準座標を持つ相対論的粒子の場合、LNNは正確なダイナミクスを学習するが、正準座標を要求するハミルトニアンネットワークは失敗する。
• Lagrangian Graph Networkモデルは1次元波動方程式を学習し、局所格子近傍でラグランジアン密度を集約することでエネルギーを保存できる。
• 座標制約のためハミルトン法が苦戦する状況でも、LNNは非自明な正準運動量とダイナミクスを学習する能力を示す。