[論文レビュー] Renormalizing Diffusion Models

Jordan Cotler, Semon Rezchikov|arXiv (Cornell University)|Aug 23, 2023

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本論文は、統計的および量子場の理論における非摂動的反転レノルミズーション群（RG）フローを学習するための新しいフレームワークを紹介する。このフレームワークでは、RGスキームを拡散過程として扱い、ノイズを追加するプロセスの逆を学習することで、格子場理論における適応的ブリッジサンプリングを可能にするとともに、物理的に意味のあるマルチスケールアーキテクチャを用いた、量子系の基底状態を求める変分的手法を提供する。

ABSTRACT

We explain how to use diffusion models to learn inverse renormalization group flows of statistical and quantum field theories. Diffusion models are a class of machine learning models which have been used to generate samples from complex distributions, such as the distribution of natural images. These models achieve sample generation by learning the inverse process to a diffusion process which adds noise to the data until the distribution of the data is pure noise. Nonperturbative renormalization group schemes in physics can naturally be written as diffusion processes in the space of fields. We combine these observations in a concrete framework for building ML-based models for studying field theories, in which the models learn the inverse process to an explicitly-specified renormalization group scheme. We detail how these models define a class of adaptive bridge (or parallel tempering) samplers for lattice field theory. Because renormalization group schemes have a physical meaning, we provide explicit prescriptions for how to compare results derived from models associated to several different renormalization group schemes of interest. We also explain how to use diffusion models in a variational method to find ground states of quantum systems. We apply some of our methods to numerically find RG flows of interacting statistical field theories. From the perspective of machine learning, our work provides an interpretation of multiscale diffusion models, and gives physically-inspired suggestions for diffusion models which should have novel properties.

研究の動機と目的

• 機械学習と量子／統計的場の理論を結ぶために、RGフローを拡散過程として定式化すること。
• 格子場理論における効率的サンプリングを可能にするために、拡散モデルを用いた逆RGフローの学習手法を開発すること。
• スコアベースの生成モデルを用いた、量子場理論の基底状態を求める変分フレームワークを提供すること。
• 有効場理論の構造を尊重する物理的に意味のあるマルチスケール拡散モデルアーキテクチャを提供すること。
• 統一的かつ解釈可能なフレームワークを通じて、異なるRGスキーム間での結果の相互比較を可能にすること。

提案手法

• 場の空間における非摂動的RGスキームを、ノイズの追加が粗粒化に対応する拡散過程として形式化する。
• スコアベースの生成モデルを用いて逆プロセス（ノイズ除去）を学習し、元の場の分布を再構築する。
• 正規化フローを変分推論に適用し、格子場理論における効率的サンプリングのための提案分布を最適化する。
• 連続時間形式を導入し、関数微分を含むフォッカー・プランク型方程式としてRGフローをモデル化する。
• 物理的RGカーネル（例：ポルチンスキ、カロッソ）をノイズスケジュールおよびスコア関数に埋め込むことで、マルチスケール拡散モデルを構築する。
• 逆拡散プロセスを用いて元の場の分布からのサンプルを生成し、モンテカルロ法による観測量の計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 格子場理論における明示的で物理的に意味のあるRGフローを、拡散モデルを用いて逆転させることは可能か？
• RQ2 拡散モデルは、混合性が向上するように、格子場理論における適応的ブリッジサンプラーとしてどのように適合可能か？
• RQ3 逆拡散プロセスを用いて、量子場理論の基底状態波動関数を変分的に近似することは可能か？
• RQ4 異なるRGスキーム（例：ポルチンスキ対カロッソ）で学習された拡散モデルの物理的および統計的性質は何か？
• RQ5 学習されたスコア関数およびノイズスケジュールは、有効場理論のマルチスケール構造をどのように反映しているか？

主な発見

• 逆拡散プロセスは、ノイズが付加され粗粒度化された状態から元の場の分布を正確に再構築でき、格子場理論における正確なサンプリングを可能にする。
• 指定されたRGスキームの逆フローを学習することで、標準的なマルコフ連鎖モンテカルロ法よりも効率的なサンプリングが可能となる適応的ブリッジサンプラーを生成する。
• 統一的かつ物理的に根拠のある定式化のおかげで、異なるRGスキーム（例：ポルチンスキとカロッソ）間での結果の直接比較が可能になる。
• ポルチンスキおよびカロッソのRGスキームで学習された拡散モデルは、ρ⁴理論における既知の固定点および相転移を再現し、数値的に本手法の有効性を検証した。
• 学習されたスコア関数はマルチスケール場構造を符号化しており、ノイズスケジュールは下位のRGカーネルの波数空間のカットオフを反映している。
• 拡散モデルを用いた変分手法は、特に波動関数が実数かつ正であるような量子系において、基底状態波動関数を効果的に計算できた。