[論文レビュー] Generative models for sampling of lattice field theories

Matija Medvidović, Juan Carrasquilla+2 more|arXiv (Cornell University)|Dec 2, 2020

Cold Atom Physics and Bose-Einstein Condensates参考文献 28被引用数 6

ひとこと要約

本稿では、事前学習データセットを必要とせず、自己学習的に相関のないサンプルを生成することができる、敵対的ニューラルネットワークに基づくマルコフ連鎖モンテカルロ法、A-NICE MCを提案する。生成モデルを、マルコフ連鎖の自己相関を最小化するように訓練することにより、従来の手法よりもはるかに大きな系サイズにおける$φ^4$格子場理論の効率的サンプリングを可能にし、推論速度が速く、ストレージ要件も削減される。

ABSTRACT

We explore a self-learning Markov chain Monte Carlo method based on the Adversarial Non-linear Independent Components Estimation Monte Carlo, which utilizes generative models and artificial neural networks. We apply this method to the scalar $φ^4$ lattice field theory in the weak-coupling regime and, in doing so, greatly increase the system sizes explored to date with this self-learning technique. Our approach does not rely on a pre-existing training set of samples, as the agent systematically improves its performance by bootstrapping samples collected by the model itself. We evaluate the performance of the trained model by examining its mixing time and study the ergodicity of generated samples. When compared to methods such as Hamiltonian Monte Carlo, this approach provides unique advantages such as the speed of inference and a compressed representation of Monte Carlo proposals for potential use in downstream tasks.

研究の動機と目的

• 事前学習済みサンプルデータセットを必要としない自己学習的MCMC手法の開発。
• 特に弱い結合定数領域における$φ^4$理論を対象とした、高次元格子場理論への自己学習MCMCサンプリングのスケーリング。
• 生成モデルの敵対的訓練により自己相関を最小化することで、サンプリング効率の向上。
• 訓練済みモデルを保存することで、生のサンプルを保存する必要がなくなるため、推論速度の向上とストレージオーバーヘッドの低減。
• 物理的整合性を確認するため、生成されたマルコフ連鎖のエルゴード性および混合時間の評価。

提案手法

• 本手法は、生成的ニューラルネットワークをMCMCにおける提案分布のパrameter化に用いる、敵対的非線形独立成分推定モンテカルロ（A-NICE MC）を採用する。
• モデルは、自身が生成するサンプルに基づいて、マルコフ連鎖の自己相関を最小化する損失関数を用いて訓練される。
• 勾配ベースの最適化により訓練が行われ、外部のラベル付きデータや事前学習済みサンプルセットの必要がない。
• 提案分布は反復的に更新され、連続するサンプル間の相関を低減し、混合性を向上させる。
• 解析的格子作用素のみを入力として使用するため、標準的な場理論の定式化と互換性がある。
• 訓練後は、繰り返しMCMCスイープを実行する必要なく、迅速に独立したサンプルを生成可能である。

実験結果

リサーチクエスチョン

• RQ1 生成モデルに基づく自己学習的MCMC手法は、事前学習済みデータセットを必要とせずに、格子場理論を効果的にサンプリングできるか？
• RQ2 A-NICE MC手法は、$φ^4$格子場理論における自己相関および混合時間の観点で、どのように性能を発揮するか？
• RQ3 従来の自己学習MCMCアプローチと比較して、本手法はどの程度大きな系サイズにスケーリング可能か？
• RQ4 自己相関および統計的効率の観点から、A-NICE MCの性能はハミルトニアン・モンテカルロ（HMC）と比べてどの程度か？
• RQ5 訓練済みモデルは、物理的場の配置とランダムなガウスノイズを区別できるか？これは、ターゲット分布の適切な学習を示唆する。

主な発見

• A-NICE MC手法は、自己学習MCMC技術でこれまで達成されたことのない、より大きな系サイズにおける弱い結合定数領域の$φ^4$格子場理論を効果的にサンプリングした。
• 訓練中に有効サンプルサイズ（ESS）が体系的に増加しており、混合性の向上と自己相関の低減を示している。
• 2点自己相関関数やイジングエネルギー密度を含む、ほとんどの物理量について、HMCで受け入れ率を合わせた場合でさえ、A-NICE MCの自己相関の減衰が速い。
• 訓練のダイナミクスと損失関数の挙動から、モデルが物理的サンプルとランダムなガウスノイズを区別できていることが裏付けられている。
• 平均磁化を除くすべての物理量について、A-NICE MCの統合自己相関時間（tau）はHMCよりも低く、サンプリング効率が優れていることを示している。
• 計算コストはサンプリングから訓練にシフトされ、大規模なサンプルセットを保存せずとも、高速かつオンデマンドで推論可能なコンactモデルのデプロイが可能になった。