[論文レビュー] Symplectic Recurrent Neural Networks

Zhengdao Chen, Jianyu Zhang+2 more|arXiv (Cornell University)|Sep 29, 2019

Model Reduction and Neural Networks参考文献 24被引用数 64

ひとこと要約

SRNNは、対称積分を用いたニューラル・ハミルトニアンと多段訓練、および初期状態最適化を用いて、軌道からハミルトニアン力学を学習し、ノイズに対する頑健性を向上させ、反発のような剛性ダイナミクスを扱う。

ABSTRACT

We propose Symplectic Recurrent Neural Networks (SRNNs) as learning algorithms that capture the dynamics of physical systems from observed trajectories. An SRNN models the Hamiltonian function of the system by a neural network and furthermore leverages symplectic integration, multiple-step training and initial state optimization to address the challenging numerical issues associated with Hamiltonian systems. We show that SRNNs succeed reliably on complex and noisy Hamiltonian systems. We also show how to augment the SRNN integration scheme in order to handle stiff dynamical systems such as bouncing billiards.

研究の動機と目的

• 観測された位置と運動量の軌跡から直接ハミルトニアン力学を学習する。
• 対称積分を用いた積分と再帰訓練により観測ノイズに対する頑健性を向上させる。
• ノイズによる偏りを緩和するために初期状態最適化を導入する。
• 補正を通じて Perfect Rebound を含む剛性ダイナミクスを扱う拡張を示す。
• 複雑なシステム（スプリング連結系、三体系）での性能をデモンストレーションし、基準となるHNN/O-NET手法と比較する。

提案手法

• ハミルトニアンを Hθ(p,q) のニューラルネットワークとしてモデル化し、その導関数がダイナミクスを与える（Hθ = Kθ1(p) + Vθ2(q)）。
• (p,q) を伝搬させ、複数の時間ステップを通して逆伝播するシンプレクティックな Leapfrog 積分器を使用する（マルチステップ訓練）。
• ODE NET または Hamilitonian NET のいずれの定義で訓練し、積分と結合して軌跡を予測する。
• Initial State Optimization (ISO) を導入する：初期の (p0,q0) を各軌道ごとに訓練可能な変数として損失を介して最適化する。
• 剛性ダイナミクスのための rebound モジュールを Leapfrog に拡張し、リバウンドの方向とタイミングを視覚的手がかり（n, α, γ）でモデル化する。
• 同じ積分器/時間刻みで訓練と評価を行うことで、離散化誤差を補償する学習済みの修正方程式を示す。

実験結果

リサーチクエスチョン

• RQ1 SRNN はノイズのある軌道データから複雑なハミルトニアン力学を信頼できるように学習できるか？
• RQ2 シンプレクティック（Leapfrog）積分器を使用することで、Eulerベースの訓練よりも安定性と精度が向上するか？
• RQ3 再帰的（マルチステップ）訓練はノイズ下で単一ステップ訓練より優れているか？
• RQ4 初期状態最適化は観測ノイズ下で予測精度を改善できるか？
• RQ5 SRNN は補正を用いて Perfect Rebound（ボールのような反発）などの剛性ダイナミクスを扱える拡張が可能か？

主な発見

• 再帰的（マルチステップ）訓練と Leapfrog 積分を用いた SRNN は、スプリング連鎖系および三体系において、H-NETおよびO-NETの基準より最も低い予測誤差を示した。
• 訓練と評価の両方で Leapfrog を一貫して用いると、Euler ベースの手法より安定性と精度が向上した。
• 初期状態最適化（ISO）はノイズ下で最良の予測を生み出し、固定初期状態の変種より優れていた。
• SRNN によるダイナミクスは離散化誤差を補償でき、同じステップサイズで真の微分方程式を数値解く場合よりも優れることがある。
• 拡張された SRNN は重いビリヤードにおける完全な反発挙動を学習でき、反発タイミングが不確定な場合でも基準手法を上回った。