[論文レビュー] Sampling from Mean-Field Gibbs Measures via Diffusion Processes

A. El Alaoui, Andrea Montanari+1 more|arXiv (Cornell University)|Oct 13, 2023

Markov Chains and Monte Carlo MethodsMathematics被引用数 3

ひとこと要約

本稿では、高温状態におけるイジング混合 $p$-スピンガラスの平均場ギブス測度に対する、確率的局在化と近似メッセージパッシングを活用した、新しい拡散ベースのサンプリングアルゴリズムを提案する。この手法により、$o_n(1)$ の正規化 Wasserstein 距離誤差で多項式時間内にサンプリングが達成される。アルゴリズムは、シャッタリングや複写対称性破れの臨界点以下の領域を除き、全複写対称性領域で成功し、シャッタリングや複写対称性破れの臨界点以下の領域では、安定なアルゴリズムが正確にサンプリングできないことを示す情報理論的限界を確立する。

ABSTRACT

We consider Ising mixed $p$-spin glasses at high-temperature and without external field, and study the problem of sampling from the Gibbs distribution $μ$ in polynomial time. We develop a new sampling algorithm with complexity of the same order as evaluating the gradient of the Hamiltonian and, in particular, at most linear in the input size. We prove that, at sufficiently high-temperature, it produces samples from a distribution $μ^{alg}$ which is close in normalized Wasserstein distance to $μ$. Namely, there exists a coupling of $μ$ and $μ^{alg}$ such that if $({\boldsymbol x},{\boldsymbol x}^{alg})\in\{-1,+1\}^n imes \{-1,+1\}^n$ is a pair drawn from this coupling, then $n^{-1}{\mathbb E}\{\|{\boldsymbol x}-{\boldsymbol x}^{alg}\|_2^2\}=o_n(1)$. For the case of the Sherrington-Kirkpatrick model, our algorithm succeeds in the full replica-symmetric phase. We complement this result with a negative one for sampling algorithms satisfying a certain `stability' property, which is verified by many standard techniques. No stable algorithm can approximately sample at temperatures below the onset of shattering, even under the normalized Wasserstein metric. Further, no algorithm can sample at temperatures below the onset of replica symmetry breaking. Our sampling method implements a discretized version of a diffusion process that has become recently popular in machine learning under the name of `denoising diffusion.' We derive the same process from the general construction of stochastic localization. Implementing the diffusion process requires to efficiently approximate the mean of the tilted measure. To this end, we use an approximate message passing algorithm that, as we prove, achieves sufficiently accurate mean estimation.

研究の動機と目的

• 高温状態におけるイジング混合 $p$-スピンガラスの多項式時間サンプリングアルゴリズムの開発。
• 正規化 Wasserstein 距離において高い精度を達成し、$n^{-1}\mathbb{E}\|\mathbf{x}-\mathbf{x}^{\text{alg}}\|_2^2 = o_n(1)$ を満たすこと。
• シャッタリングや複写対称性破れの臨界点以下の領域で、安定なアルゴリズムが正確にサンプリングできないことを示す情報理論的限界の確立。
• 拡散過程と確率的局在化を結びつけ、平均推定に近似メッセージパッシングを用いた実行可能かつ効率的なサンプリング手法の導出。

提案手法

• アルゴリズムは、確率的局在化から導かれた離散化された拡散過程を用い、系を目的のギブス測度へと徐々に近づける。
• 連続時間の確率的局在化プロセスに依存し、測度を目的分布へと傾ける。
• 傾いた測度の平均は、収束が保証された近似メッセージパッシング（AMP）アルゴリズムにより近似される。
• AMPアルゴリズムは、状態発展の固定点へ収束し、全体のサンプリング誤差が正規化 Wasserstein 距離で $o_n(1)$ に保たれることを示す。
• 連続時間極限において自然勾配降下ステップを用いることで、状態空間の効率的探索が保証される。
• プラントモデル下でのAMP状態発展の収束解析と連続性の議論を用いて、理論的保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースのアルゴリズムは、高温領域における平均場ギブス測度からの効率的かつ多項式時間内でのサンプリングを達成できるか？
• RQ2 シャッタリングや複写対称性破れが生じる状況下で、安定なサンプリングアルゴリズムの根本的限界は何か？
• RQ3 スピンガラスモデルにおける傾いたギブス測度の平均を、近似メッセージパッシングはどの程度正確に推定できるか？
• RQ4 提案された拡散過程は、正規化 Wasserstein 距離において真のギブス測度に近いサンプルを生成できるか？
• RQ5 アルゴリズムは、シャッタリングや複写対称性破れの臨界点以下の領域を含む、全複写対称性領域で成功するか？

主な発見

• 提案されたアルゴリズムは $n^{-1}\mathbb{E}\|\mathbf{x}-\mathbf{x}^{\text{alg}}\|_2^2 = o_n(1)$ を達成しており、$n \to \infty$ の極限で真のサンプルとアルゴリズムによるサンプルの平均二乗距離が消えることを意味する。
• アルゴリズムは、混合 $p$-スピンモデルの全複写対称性領域、特にシャーリングトン＝キルカレー・モデルにおいても成功する。
• シャッタリングの発生点以下の領域では、正規化 Wasserstein 距離でさえ、安定なアルゴリズムがギブス測度から正確にサンプリングすることはできない。
• 複写対称性破れの臨界点以下の領域では、いかなるアルゴリズムでも正確にサンプリングできないことが示され、鋭い情報理論的境界が確立される。
• 平均推定に用いられるAMPアルゴリズムは、状態発展の固定点へ収束し、全体のサンプリング精度を保証するのに十分な精度の平均推定を達成する。
• 硬さに関する結果は、連続性と不規則性の混沌乱（disorder chaos）の議論を用いて導出され、安定性が非複写対称領域では失敗を意味することを示している。