[論文レビュー] Hamiltonian Generative Networks

Péter Tóth, Danilo Jimenez Rezende+4 more|arXiv (Cornell University)|Sep 30, 2019

Model Reduction and Neural Networks参考文献 32被引用数 29

ひとこと要約

この論文は、制限的なドメイン仮定を必要とせず、高次元のピクセル観測からハミルトニアン力学を学習する深層生成モデル、ハミルトニアン生成ネットワーク（HGN）を紹介する。ハミルトニアン方程式を用いて潜在状態を推定し、ダイナミクスをアンロールすることで、逆転可能で滑らかで制御可能な軌道生成が可能となり、HNN よりも物理系で優れた性能を発揮する。さらに、体積保存とエネルギー保存を満たす表現力のある密度モデリングが可能な、ニューラルハミルトニアンフロー（NHF）という正規化フローの新バージョンを導入する。

ABSTRACT

The Hamiltonian formalism plays a central role in classical and quantum physics. Hamiltonians are the main tool for modelling the continuous time evolution of systems with conserved quantities, and they come equipped with many useful properties, like time reversibility and smooth interpolation in time. These properties are important for many machine learning problems - from sequence prediction to reinforcement learning and density modelling - but are not typically provided out of the box by standard tools such as recurrent neural networks. In this paper, we introduce the Hamiltonian Generative Network (HGN), the first approach capable of consistently learning Hamiltonian dynamics from high-dimensional observations (such as images) without restrictive domain assumptions. Once trained, we can use HGN to sample new trajectories, perform rollouts both forward and backward in time and even speed up or slow down the learned dynamics. We demonstrate how a simple modification of the network architecture turns HGN into a powerful normalising flow model, called Neural Hamiltonian Flow (NHF), that uses Hamiltonian dynamics to model expressive densities. We hope that our work serves as a first practical demonstration of the value that the Hamiltonian formalism can bring to deep learning.

研究の動機と目的

• 高次元の観測（例：画像）から直接ハミルトニアン力学を学習できる深層学習モデルの開発。ニュートン力学や特定の物理的ドメインに制限を設けない。
• ピクセルレベルのデータから抽象的な位相空間表現を推定する課題に対処し、複雑な連続時間ダイナミクスのモデリングを可能にする。
• ハミルトニアン力学が、系列生成、表現学習、密度推定といった機械学習タスクに有効に活用できるかどうかを示す。
• 体積保存を保ち、解釈性を持つ表現力のある密度モデリングが可能な、ハミルトニアン力学に基づく正規化フローであるニューラルハミルトニアンフロー（NHF）を導入する。
• HGNが逆転可能で前向き・後向きに整合性を持つ軌道を生成でき、積分器の時間ステップを調整することでロールアウト速度を制御できることを示す。

提案手法

• HGNはエンコーダを用いて、連続する画像のスタックから初期の潜在状態（位置と運動量）を推定し、ピクセル観測を位相空間にマッピングする。
• モデルはハミルトニアンをループフロント積分法でアンロールして連続時間ダイナミクスをシミュレートし、時間反転可能で数値安定性を確保する。
• デコーダは位置変数のみから画像を再構築し、訓練中に再構築損失を用いて潜在ダイナミクスと観測画像系列の整合性を保つ。
• ハミルトニアンは、潜在状態変数を入力とし、全エネルギーを出力するニューラルネットワークでパラメータ化され、運動エネルギーとポテンシャルエネルギーの成分ごとに別々のヘッドを備える。
• HGNの変種がニューラルハミルトニアンフロー（NHF）となる。スタックされたハミルトニアンフローに学習されたハミルトニアンを適用し、正規化フローとして機能させ、体積保存を維持し、密度推定を可能にする。
• 初期状態にはソフト一様事前分布を用い、ループフロントステップでフローを統合し、最終的な変換された分布が複雑で多次元のデータ分布と一致する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、ニュートン力学や特定の物理的制約を仮定せず、高次元の画像観測から直接ハミルトニアン力学を学習できるか？
• RQ2 複雑な系における長時間スケールのロールアウトにおいて、推定されたハミルトニアンがエネルギー保存をどれほど良好に維持し、時間反転可能なダイナミクスを保証できるか？
• RQ3 ハミルトニアン形式は、表現力のある正規化フローの基盤として、生成モデリングに効果的に適応できるか？
• RQ4 HGNは、多体系のような非自明な相互作用を示す系を含め、多様な物理系に一般化できるか？
• RQ5 学習されたダイナミクスは、テスト時に操作可能（例：高速化、低速化、逆方向実行）であり、一貫性と再構築忠実度を維持できるか？

主な発見

• HGNは、質量ばね系、振り子、2体系、3体系という4つのテスト系すべてでHNNを大きく上回り、HGN（決定的）のテスト再構築損失は0.02～0.05、HNNは1.43～28.34であった。
• HGNはループフロント積分を用いることで、質量ばね系で0.68、振り子で7.13、2体系で0.45、3体系で1.65（1e+4倍スケーリング済み）のハミルトニアン分散を達成し、エネルギー保存性が良好であることが示された。
• HGNは逆転可能な軌道を生成できた：前向き、後向き、2倍速、半速のロールアウトが一貫しており、視覚的にも整合的であった。一方HNNは平均画像再構築に崩壊していた。
• ニューラルハミルトニアンフロー（NHF）は、複数の吸引子を持つ多次元密度を学習でき、データモードに対応する局所的最小値を持つポテンシャルエネルギー関数が学習されたことで裏付けられた。
• NHFは、ガウス混合分布データセットにおいて、RNVP正規化フローと同等の性能を示したが、パラメータ数が少なく、ハミルトニアン構造のおかげで計算効率も優れていた。
• 学習されたハミルトニアンを運動エネルギーとポテンシャルエネルギーに分解することで、モデルの解釈性が向上し、データモードに対応する明確な吸引域が明らかになった。