[論文レビュー] Diffusion Models as Stochastic Quantization in Lattice Field Theory

Lingxiao Wang, Gert Aarts+1 more|arXiv (Cornell University)|Sep 29, 2023

Stochastic processes and statistical mechanicsMathematics参考文献 82被引用数 3

ひとこと要約

本稿は、機械学習における拡散モデル（DMs）と格子場理論における確率的正準化（SQ）の間の理論的かつ数値的関係を確立する。著者らは、DMsをランジュバン過程の逆過程と定式化することで、DMsが2次元φ⁴理論における量子格子場配置の生成に効率的なグローバルサンプラーとして機能できることを示し、特に臨界領域において、標準的なマルコフ連鎖モンテカルロ（MCMC）手法と比較して自己相関時間の顕著な短縮が達成されることを明らかにした。

ABSTRACT

In this work, we establish a direct connection between generative diffusion models (DMs) and stochastic quantization (SQ). The DM is realized by approximating the reversal of a stochastic process dictated by the Langevin equation, generating samples from a prior distribution to effectively mimic the target distribution. Using numerical simulations, we demonstrate that the DM can serve as a global sampler for generating quantum lattice field configurations in two-dimensional $ϕ^4$ theory. We demonstrate that DMs can notably reduce autocorrelation times in the Markov chain, especially in the critical region where standard Markov Chain Monte-Carlo (MCMC) algorithms experience critical slowing down. The findings can potentially inspire further advancements in lattice field theory simulations, in particular in cases where it is expensive to generate large ensembles.

研究の動機と目的

• 生成的拡散モデル（DMs）と量子場理論における確率的正準化（SQ）の間の理論的関係を確立すること。
• DMsが、量子場理論における格子場配置の生成にグローバルサンプラーとして機能できるかどうかを調査すること。
• 特に臨界点付近において、DMsがマルコフ連鎖モンテカルロ（MCMC）シミュレーションにおける自己相関時間の短縮にどの程度寄与するかを評価すること。
• DMsが格子場理論におけるSQによって誘導される確率的ダイナミクスを捉えていることを数値的根拠で示すこと。
• 特に計算コストが高くなる領域において、大規模な格子場理論シミュレーションの効率を向上させる可能性について探求すること。

提案手法

• 著者らは、拡散過程をランジュバル方程式に従う確率的過程の逆過程としてモデル化し、DMsと確率的正準化を結びつける。
• 変分推論を用いて、ターゲット分布のスコア関数を学習するU-Netベースのノイズ除去スコアベースモデルを訓練する。
• 時間埋め込みを施したU-Netアーキテクチャを用い、スキップ接続、グループ正則化、Swish活性化関数を組み合わせ、各拡散段階におけるノイズを予測する。
• スコア関数の推定には、ランダムベクトルの射影を用いることで、スコア関数の発散を効率的に計算できるスキリング＝ハチンソン推定器を用いる。
• 確率的フロー常微分方程式（ODE）は数値積分器を用いて解き、ターゲット分布からのサンプルを生成する。
• 本手法は、ハイブリッドモンテカルロ（HMC）をベースラインとして用い、2次元φ⁴格子場理論でテストされ、DMsを用いて配置を初期化または再サンプリングする。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは、格子場理論における確率的正準化の逆過程として解釈可能か？
• RQ2 特に臨界領域において、拡散モデルは、格子場理論のMCMCシミュレーションにおける自己相関時間の短縮に顕著に寄与するか？
• RQ3 DMsは、標準的なHMCシミュレーションの統計的性質を再現するような場の配置を効果的に生成できるか？
• RQ4 非自明な量子場理論において、DMベースのサンプリング手法は数値的検証においてロバストで一貫性を持つか？
• RQ5 臨界遅れが生じる場の理論において、DMアプローチは、標準的なMCMCに比べてサンプリング効率が向上するか？

主な発見

• 拡散モデルは、ランジュバル方程式が定義する確率的過程の逆過程として解釈可能であり、DMsと確率的正準化の間の直接的な理論的関係を確立する。
• 2次元φ⁴理論において、DMsはマルコフ連鎖における自己相関時間を顕著に短縮し、特に標準的なMCMCが臨界遅れに苦しむ臨界領域で顕著な効果を示す。
• DMベースのサンプラーは、標準的なHMCと統計的に一貫した場の配置を生成しており、自己一貫性チェックにより確認された。
• 本手法は、大規模なアンサンブルを生成する際の収束速度を向上させ、計算コストを削減する点で、サンプリング効率が向上している。
• スキーング＝ハチンソン推定器により、トレーニング中に正確かつ効率的な尤度推定が可能となり、発散近似のサンプルサイズ10で収束が観察された。
• 数値的証拠により、DMがSQによって誘導される確率的ダイナミクスを捉えていることが確認され、格子場理論におけるグローバルサンプラーとしての有効性が妥当性をもって裏付けられた。