[論文レビュー] Deep Learning Hamiltonian Monte Carlo

Xiao-Yong Jin, Xiao-Yong Jin+1 more|arXiv (Cornell University)|May 7, 2021

Markov Chains and Monte Carlo Methods参考文献 21被引用数 12

ひとこと要約

本稿では、格子規則場理論におけるサンプリング効率を向上させるために、従来のルンゲ・クッタステップを学習可能なニューラルネットワーク層のスタックで置き換えることで、一般化されたHMCアルゴリズムである深層学習ハミルトニアンモンテカルロ（DLHMC）を提案する。この手法は、トポロジカルセクター間の効率的なトンネル効果を可能にし、β=7における計算コストで標準HMCに比べ最大100倍の性能向上を達成した。

ABSTRACT

We generalize the Hamiltonian Monte Carlo algorithm with a stack of neural network layers and evaluate its ability to sample from different topologies in a two dimensional lattice gauge theory. We demonstrate that our model is able to successfully mix between modes of different topologies, significantly reducing the computational cost required to generated independent gauge field configurations. Our implementation is available at https://github.com/saforem2/l2hmc-qcd .

研究の動機と目的

• 連続極限に近い格子規則場理論のシミュレーションで、特にトポロジカルセクター間の混合が遅くなることによる指数的スローダウンを解消すること。
• マーカフ連鎖モンテカルロ（MCMC）シミュレーションにおける格子規則場理論のサンプリング効率を、適応的提案分布を学習することで向上させること。
• 従来のHMCを一般化する微分可能で自己学習可能なMCMCサンプラーを、深層ニューラルネットワークを用いて開発すること。
• 周期的境界条件を有する2次元U(1)格子規則場理論と、変化する結合定数を用いて、手法の性能を評価すること。
• 学習されたニューラルネットワーク層のダイナミクスが、どのようにトポロジカルトンネルを可能にする物理的メカニズムを理解すること。

提案手法

• DLHMCは、HMCにおける連続するルンゲ・クッタステップを、個々にパラメータ化された重みを持つ独立したニューラルネットワーク層のスタックで置き換える。各層は拡張状態変数（x, v, d）を処理する。
• 各ニューラルネットワーク層は、現在の状態と作用の勾配から得られる入力を用いて、学習可能なスケーリングおよびシフト関数を用いて変更されたルンゲ・クッタ更新を実行する。
• 位置と運動量の更新を分離するためにマスクを施した入力を使用し、前向きと後向きの方向それぞれに別個のネットワークを設ける。
• トポロジカルトンネルを促進するように設計されたカスタム損失関数を用いてモデルを訓練し、特に異なるトポロジカル電荷セクター間の遷移を促進する。
• 最終的な提案はメトロポリス・ハスティングスの受理ルールを用いて正確に実行され、詳細釣合と正しいターゲット分布のサンプリングが保証される。
• トレーニングは、16×16格子とβ ∈ [2,7]を想定し、HorovodとTensorFlowを用いてGPU加速されたスーパーコンピュータ上で実施した。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークアーキテクチャが、格子規則場理論におけるHMCの伝統的ルンゲ・クッタステップを効果的に置き換えることができるか？
• RQ2 学習されたサンプラーは、標準HMCと比較して、トポロジカルセクター間の混合が向上しているか？
• RQ3 ニューラルネットワークの内部ダイナミクスは、どのようにトポロジカルセクター間のエネルギー障壁を越えるトンネルを可能にするか？
• RQ4 ある結合定数βでトレーニングされたモデルが、最小限の再トレーニングで他のβ値に適応可能か？
• RQ5 プラケット、エネルギー、トポロジカル電荷などの物理的量は、どのようにして位相空間のより良い探索を可能にするか？

主な発見

• β=7における標準HMCと比較して、DLHMCはトポロジカル電荷の統合自己相関時間を最大100倍短縮し、サンプリング効率の顕著な向上を示した。
• βが小さい値（例：β=2）でトレーニングしたモデルは、βが大きい値（例：β=7）でも最小限の再トレーニングで良好な性能を示し、結合定数の変化に対して強い一般化能力を示した。
• 推論段階では、ニューラルネットワークが軌道の前半にかけて系のエネルギー密度を意図的に増加させ、その後元の値に戻すという自己学習メカニズムを発揮しており、トポロジカル障壁の克服に寄与している。
• 連続的なトポロジカル電荷は、ネットワーク層の中間点で混合を示しており、システムが変換中に障壁を通過していることを示している。
• 平均プラケット値は軌道中に変化し、物理的経路からの制御された逸脱を示しており、古典的に許容されない領域の探索を可能にしている。
• HMCシミュレーションは長期間にわたり1つのトポロジカルセクターに閉じ込められるが、トレーニング済みのDLHMCサンプラーは、トポロジカル電荷の推移の可視化によって確認されたように、迅速にセクター間を遷移する。