[論文レビュー] Hamiltonian Neural Networks

Sam Greydanus, Misko Dzamba+1 more|arXiv (Cornell University)|Jun 4, 2019

Machine Learning in Materials Science参考文献 43被引用数 315

ひとこと要約

本論文は Hamiltonian Neural Networks (HNNs) を提案し、エネルギー保存を課すパラメトリックなハミルトニアンを学習させ、ベースラインネットワークと比較して長期的な忠実度と厳密な可逆性を実現する。

ABSTRACT

Even though neural networks enjoy widespread use, they still struggle to learn the basic laws of physics. How might we endow them with better inductive biases? In this paper, we draw inspiration from Hamiltonian mechanics to train models that learn and respect exact conservation laws in an unsupervised manner. We evaluate our models on problems where conservation of energy is important, including the two-body problem and pixel observations of a pendulum. Our model trains faster and generalizes better than a regular neural network. An interesting side effect is that our model is perfectly reversible in time.

研究の動機と目的

• 神経網における物理情報を含む帰納バイアスの必要性を動機づける。
• 無監督で保全則を課すように、神経ネットワークでハミルトニアン関数を学習することを提案する。
• 複数の物理タスクにおいて長期ダイナミクスとエネルギー保存を改善することを示す。

提案手法

• 座標 (q, p) をスカラーのエネルギー様値へ写像するニューラルネットワークとしてハミルトニアン H_theta をパラメータ化する。
• シンプレクティック勾配 S_H = (∂H/∂p, -∂H/∂q) を計算して時間微分を得、RK4ソルバで積分する。
• グラフ内勾配損失 L_HNN = ||∂H/∂p - dq/dt||_2 + ||∂H/∂q + dp/dt||_2 を用いて正確な保存則を強制するように訓練する。
• 理想バネ-質量、理想単振動子、現実の振り子、二体問題、ピクセルベースの振り子ダイナミクスを含むタスクで評価する。
• ピクセル観測に拡張するには、HNN とオートエンコーダを結合し、潜在空間の損失を追加してハミルトニアン構造を奨励する。

Figure 1: Learning the Hamiltonian of a mass-spring system. The variables $q$ and $p$ correspond to position and momentum coordinates. As there is no friction, the baseline’s inner spiral is due to model errors. By comparison, the Hamiltonian Neural Network learns to exactly conserve a quantity that

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは動力学系におけるエネルギー保存を強制するハミルトニアンを学習できるか？
• RQ2 HNN は標準的なニューラルネットワークよりも一般化し、単純な物理タスクと複雑な物理タスクの両方でエネルギーをより良く保存できるか？
• RQ3 HNN はピクセルデータから学習して動力学系をモデル化できるか？
• RQ4 ハミルトニアン構造を組み込むことは、学習済みダイナミクスの可逆性と長期的安定性にどう影響するか？

主な発見

タスク	トレイン損失（Baseline）	トレイン損失（HNN）	テスト損失（Baseline）	テスト損失（HNN）	エネルギー（Baseline）	エネルギー（HNN）
1: Ideal mass-spring	37± 2	37± 2	37± 2	36± 2	170± 20	.38±.1
2: Ideal pendulum	33± 2	33± 2	35± 2	36± 2	42± 10	25± 5
3: Real pendulum	2.7±.2	9.2±.5	2.2±.3	6.0±.6	390± 7	14± 5
4: Two body (×10^6)	33± 1	3.0±.1	30±.1	2.8±.1	6.3e4± 3e4	39± 5
5: Pixel pendulum	18±.2	19±.2	17±.3	18±.3	9.3± 1	.15±.01

• HNN はエネルギー様の保存量を学習し、ベースラインと比較して時間経過に伴うエネルギーのドリフトを大幅に減らす。
• 五つのタスク全てで、HNN は訓練/テスト損失がベースラインと同等程度だが、エネルギー保存でははるかに優れている（エネルギー MSE がいくつかのタスクで桁違いに低い）。
• HNN はより大規模な系（例: 二体問題）へとスケールし、ベースラインよりエネルギー保存が強く、発散が遅い。
• ピクセルベースの実験では、潜在表現からのダイナミクス学習と、百数十フレームにわたってベースラインよりエネルギーをより良く保存できる。
• HNN の保存量は総エネルギーに密接に対応しており、得られたハミルトニアンが本質的な物理を捉えていることを示している（定数倍を除く）。

Figure 2: Analysis of models trained on three simple physics tasks. In the first column, we observe that the baseline model’s dynamics gradually drift away from the ground truth. The HNN retains a high degree of accuracy, even obscuring the black baseline in the first two plots. In the second column