[論文レビュー] Deep Hamiltonian networks based on symplectic integrators

Aiqing Zhu, Pengzhan Jin+1 more|arXiv (Cornell University)|Apr 23, 2020

Model Reduction and Neural Networks参考文献 42被引用数 18

ひとこと要約

この論文は、シンプレクティック積分子を用いたハミルトニアンニューラルネットワーク（HNets）が、元の真のハミルトニアンではなく、逆修正方程式によって定義される修正ハミルトニアンを学習することを確立している。理論的分析により、シンプレクティック積分子はネットワークターゲット（ゼロ損失写像）の存在を保証するが、非シンプレクティックなものは保証しないことが示され、数値実験により、シンプレクティック HNet は長期間予測においてネットワークターゲットのダイナミクスを保存することで、優れた汎化性能と精度を達成している。

ABSTRACT

HNets is a class of neural networks on grounds of physical prior for learning Hamiltonian systems. This paper explains the influences of different integrators as hyper-parameters on the HNets through error analysis. If we define the network target as the map with zero empirical loss on arbitrary training data, then the non-symplectic integrators cannot guarantee the existence of the network targets of HNets. We introduce the inverse modified equations for HNets and prove that the HNets based on symplectic integrators possess network targets and the differences between the network targets and the original Hamiltonians depend on the accuracy orders of the integrators. Our numerical experiments show that the phase flows of the Hamiltonian systems obtained by symplectic HNets do not exactly preserve the original Hamiltonians, but preserve the network targets calculated; the loss of the network target for the training data and the test data is much less than the loss of the original Hamiltonian; the symplectic HNets have more powerful generalization ability and higher accuracy than the non-symplectic HNets in addressing predicting issues. Thus, the symplectic integrators are of critical importance for HNets.

研究の動機と目的

• 積分子の選択が HNet におけるネットワークターゲットの存在と性質に与える影響を調査すること。
• HNetsにおいてシンプレクティック積分子が非シンプレクティック積分子よりも優れている理由を理解する理論的ギャップを埋めること。
• シンプレクティック積分子を用いて訓練された HNet が、元のシステムのハミルトニアンではなく修正ハミルトニアンを学習することを確立すること。
• シンプレクティック HNet が長期間のダイナミクス予測において、より優れた一般化性能と高い精度を達成することを示すこと。

提案手法

• 訓練データ上でのゼロ経験的損失写像としてのネットワークターゲットの概念を導入する。
• 逆修正方程式を提案し、HNetsのネットワークターゲットを解析的に計算する。
• 後退誤差解析を用いて、積分子の精度順序とターゲット誤差の関係を関係づける。
• ターゲット誤差を、ネットワークターゲットと真のハミルトニアンの差として定義する。
• シンプレクティックおよび非シンプレクティック積分子（例：陰的中点則 vs. トレイプエイド則）を HNets に適用する。
• 数値実験を通じて、位相フローの精度とハミルトニアン保存に関する理論的発見を検証する。

実験結果

リサーチクエスチョン

• RQ1 積分子の選択が HNet におけるネットワークターゲットの存在に影響を与えるか？
• RQ2 ネットワークターゲットは解析的に特徴付け可能であり、元のハミルトニアンとどのように関係するか？
• RQ3 なぜシンプレクティック積分子は非シンプレクティック積分子よりも HNet において優れた一般化性能と精度を達成するのか？
• RQ4 シンプレクティック積分子を用いて訓練された HNet は、元のハミルトニアンをどれだけ保存するのではなく、ネットワークターゲットをどれだけ保存するのか？
• RQ5 積分子の精度順序が HNet におけるターゲット誤差にどのように影響するか？

主な発見

• シンプレクティック積分子を用いた HNet は明確なネットワークターゲットを持つが、非シンプレクティック積分子ではその存在を保証できない。
• ネットワークターゲットは、積分子の逆修正方程式の切断版に対応するが、元のハミルトニアンではない。
• ネットワークターゲットの訓練データおよびテストデータにおける損失は、元のハミルトニアンの損失よりも顕著に低い。
• シンプレクティック HNet は、ネットワークターゲットの位相フローをより正確に保存し、そのハミルトニアンを非シンプレクティック HNet よりもより正確に保存する。
• 振り子およびケプラー問題の両方の実験において、シンプレクティック HNet は非シンプレクティック HNet よりもグローバル誤差が小さく、長期間にわたる保存性が優れている。
• ターゲット誤差は積分子の精度順序が高くなるに従い減少し、理論的予測を確認した。