[論文レビュー] Symplectic networks: Intrinsic structure-preserving networks for identifying Hamiltonian systems.

Pengzhan Jin, Aiqing Zhu+2 more|arXiv (Cornell University)|Jan 11, 2020

Model Reduction and Neural Networks参考文献 46被引用数 11

ひとこと要約

この論文では、ハミルトニアン系のシンプレクティック構造を内蔵的に保存する新しいニューラルネットワークアーキテクチャであるSymplectic Networks (SympNets) を提案する。トレーニング中にシンプレクティシティを強制することで、特に従来の数値積分法が失敗する長期的統合タスクにおいて、標準的な全結合ネットワークよりも顕著に優れた性能を示す。

ABSTRACT

This work presents a framework of constructing the neural networks preserving the symplectic structure, so-called symplectic networks (SympNets). With the symplectic networks, we show some numerical results about ( omannumeral1) solving the Hamiltonian systems by learning abundant data points over the phase space, and ( omannumeral2) predicting the phase flows by learning a series of points depending on time. All the experiments point out that the symplectic networks perform much more better than the fully-connected networks that without any prior information, especially in the task of predicting which is unable to do within the conventional numerical methods.

研究の動機と目的

• ハミルトニアン系のシンプレクティック幾何を内蔵的に尊重するニューラルネットワークアーキテクチャの開発。
• 特に長期的な時間スケールにおいて、相空間データからのハミルトニアンダイナミクスの学習と予測を改善すること。
• エネルギーと相空間構造の保存に限界を示す標準的ニューラルネットワークおよび従来の数値積分法の課題を克服すること。
• シンプレクティックなインダクティブバイアスが、データ駆動環境におけるより安定的かつ正確なダイナミクス予測をもたらすことを実証すること。

提案手法

• 隠れ層の更新におけるヤコビ行列がシンプレクティックであるように制約されたニューラルネットワークアーキテクチャの設計。これには、シンプレクティック行列によるパrameterizationを用いる。
• 各層においてシンプレクティック性を維持するシンプレクティック残差ブロック構造の採用。
• ハミルトニアンベクトル場を暗黙的に学習するために、密な相空間データポイント上でネットワークをトレーニング。
• 時間系列データを用いて、状態の相空間流れに沿った進化を予測するようにネットワークをトレーニングし、シンプレクティック整合性を保証。
• 勾配消失を回避するとともに幾何的忠実性を維持するパラメータライゼーションにより、シンプレクティック条件を強制。

実験結果

リサーチクエスチョン

• RQ1 ハミルトニアン系のシンプレクティック構造を内蔵的に保存するニューラルネットワークアーキテクチャを設計可能か？
• RQ2 シンプレクティックなインダクティブバイアスは、標準的な全結合ネットワークと比較して、ハミルトニアンダイナミクスの学習と予測をどのように改善するか？
• RQ3 従来の数値積分法が失敗する長期的相空間流れ予測において、SympNetsは一般化可能か？
• RQ4 シンプレクティック構造の保存は、データ駆動型ハミルトニアンモデリングにおける安定性と正確性をどの程度向上させるか？

主な発見

• 相空間データから学習する際、SympNetsは全結合ネットワークよりも顕著に優れた長期的予測精度を達成する。
• シンプレクティックなインダクティブバイアスにより、エネルギーのずれが一般的な標準ネットワークとは異なり、長期的な時間スケールでも安定した統合が可能になる。
• 限られた時間系列データでトレーニングされた場合でも、SympNetsは相空間流れの予測において標準ネットワークを上回る性能を示す。
• 本フレームワークは、疎なまたは密な相空間観測からも、より高い幾何的忠実性を伴って元のハミルトニアンダイナミクスを効果的に学習できた。