[論文レビュー] Mastering high-dimensional dynamics with Hamiltonian neural networks

Scott T. Miller, John F. Lindner+3 more|arXiv (Cornell University)|Jul 28, 2020

Model Reduction and Neural Networks被引用数 5

ひとこと要約

この論文は、ハミルトニアン力学のシンプレクティック構造を活用することで、従来のニューラルネットワークよりも高次元の力学系をより正確かつ効率的に学習・予測できるハミルトニアンニューラルネットワーク（HNNs）を提案する。複数の微分係数ではなく、1つのエネルギー面に限定して学習することで、学習負荷を軽減し、次元数が増加するほど、より少ない訓練データで優れた性能を達成する。

ABSTRACT

We detail how incorporating physics into neural network design can significantly improve the learning and forecasting of dynamical systems, even nonlinear systems of many dimensions. A map building perspective elucidates the superiority of Hamiltonian neural networks over conventional neural networks. The results clarify the critical relation between data, dimension, and neural network learning performance.

研究の動機と目的

• 高次元の力学系にニューラルネットワークを訓練する課題に対処すること。従来のネットワークは一般化性能とスケーラビリティに欠ける。
• 特にハミルトニアン力学という物理的原則を組み込むことで、複雑な系における学習効率と予測精度がどのように向上するかを調査すること。
• 系の次元数とデータ制約が増加する条件下で、ハミルトニアンニューラルネットワーク（HNNs）と従来のニューラルネットワーク（NNs）の性能を比較すること。
• 学習ダイナミクスの根本的差異を明確にすること：HNNsは1つのエネルギー関数を学習するが、NNsは複数の微分係数成分を学習するため、HNNsは高次元においてより頑健である。

提案手法

• HNNsは、位置と運動量から系のハミルトニアン（全エネルギー）を予測するように訓練され、出力が1つのエネルギー値である順方向ニューラルネットワークを用いる。
• その後、ハミルトンの運動方程式 $\dot{q} = \partial H / \partial p$, $\dot{p} = -\partial H / \partial q$ を用いて動的挙動を生成し、シンプレクティック構造とエネルギー保存則を保証する。
• 損失関数は、予測された速度および運動量の微分と真値との差を最小化するもので、ネットワーク出力の自動微分により計算される。
• 訓練はマップ構築の視点から行われる：HNNsは1つのエネルギー面（例：放物面）を学習するが、従来のNNsは速度と加速度のための別々の平面を学習する。
• ネットワーク構造は、2層の隠れ層をもち、各層に $2^5$ 個のニューロンと $\tanh$ 活性化関数を用い、Adam最適化法と $10^{-3}$ の学習率で訓練する。
• 実験は線形および非線形振動子、特に結合した二重井戸型鎖を対象とし、複数の軌道およびエネルギー範囲にわたって訓練データをサンプリングする。

実験結果

リサーチクエスチョン

• RQ1 HNNsは、限られた訓練データのもとで高次元の力学系を予測する際、従来のニューラルネットワークと比べてどの程度の性能を示すか？
• RQ2 系の次元数が増加する際、HNNsと標準的ニューラルネットワークの一般化性能およびデータ効率にどのような影響を与えるか？
• RQ3 マップ構築の視点——1つのエネルギー面を学習するのと、複数の微分係数平面を別々に学習するのと——が、HNNsの優れた性能をどのように説明できるか？
• RQ4 HNNsの訓練データ量に対するスケーリング特性は何か？ また、高次元において従来のネットワークと比べてどう異なるか？
• RQ5 HNNsのエネルギー保存性が、カオス的およびハイパーカオス的系における長期的予測精度に与える影響は何か？

主な発見

• HNNsは、限られた訓練データのもとでも、高次元の力学系の予測において、従来のニューラルネットワークよりも顕著に低い相対誤差を達成する。
• HNNsの相対誤差は、訓練ペア数のべき乗則的減少を示し、特に高次元において強いデータ効率性を示す。
• 線形振動子の場合、HNNsは1つの放物面型エネルギー面（図2）を学習するが、従来のNNsは速度と加速度のための別々の平面を学習し、複雑性が増加する。
• 高次元では、学習すべき微分係数の数が次元に比例して増加する一方、HNNsは1つの関数（ハミルトニアン）のみを学習するため、HNNsの利点がさらに大きくなる。
• 推論中、HNNsはエネルギー保存則とシンプレクティック構造を維持するため、従来のネットワークよりもより安定的かつ正確な長期的予測が可能になる。
• 本研究では、HNNsが複雑なダイナミクスを示す結合二重井戸型鎖の予測において、従来のネットワークを上回ることを示し、実世界の多成分系へのスケーラビリティを確認した。