[논문 리뷰] Sampling from Mean-Field Gibbs Measures via Diffusion Processes

A. El Alaoui, Andrea Montanari외 1명|arXiv (Cornell University)|2023. 10. 13.

Markov Chains and Monte Carlo MethodsMathematics인용 수 3

한 줄 요약

이 논문은 고온도 이징 혼합 $p$-스핀 거친에서 평균장 금속 측정값에 대해 새로운 확산 기반 샘플링 알고리즘을 제안하며, 확률적 국소화와 근사 메시지 전달을 활용하여 다항식 시간 내에 $o_n(1)$의 정규화된 워셔슈타인 오차를 갖는 샘플링을 달성한다. 이 방법은 전체 복제 대칭 영역에서 성공하며, 샤링턴-키르카드 모델을 포함한다. 또한, 파편화 또는 복제 대칭 깨짐 임계점 이하에서는 안정적인 알고리즘이 정확하게 샘플링할 수 없다는 것을 증명함으로써 정보 이론적 한계를 명확히 한다.

ABSTRACT

We consider Ising mixed $p$-spin glasses at high-temperature and without external field, and study the problem of sampling from the Gibbs distribution $μ$ in polynomial time. We develop a new sampling algorithm with complexity of the same order as evaluating the gradient of the Hamiltonian and, in particular, at most linear in the input size. We prove that, at sufficiently high-temperature, it produces samples from a distribution $μ^{alg}$ which is close in normalized Wasserstein distance to $μ$. Namely, there exists a coupling of $μ$ and $μ^{alg}$ such that if $({\boldsymbol x},{\boldsymbol x}^{alg})\in\{-1,+1\}^n imes \{-1,+1\}^n$ is a pair drawn from this coupling, then $n^{-1}{\mathbb E}\{\|{\boldsymbol x}-{\boldsymbol x}^{alg}\|_2^2\}=o_n(1)$. For the case of the Sherrington-Kirkpatrick model, our algorithm succeeds in the full replica-symmetric phase. We complement this result with a negative one for sampling algorithms satisfying a certain `stability' property, which is verified by many standard techniques. No stable algorithm can approximately sample at temperatures below the onset of shattering, even under the normalized Wasserstein metric. Further, no algorithm can sample at temperatures below the onset of replica symmetry breaking. Our sampling method implements a discretized version of a diffusion process that has become recently popular in machine learning under the name of `denoising diffusion.' We derive the same process from the general construction of stochastic localization. Implementing the diffusion process requires to efficiently approximate the mean of the tilted measure. To this end, we use an approximate message passing algorithm that, as we prove, achieves sufficiently accurate mean estimation.

연구 동기 및 목표

• 고온도에서 이징 혼합 $p$-스핀 거친에 대해 다항식 시간 샘플링 알고리즘을 개발한다.
• 정규화된 워셔슈타인 거리 기준으로 정확한 샘플링을 달성하며, $n^{-1}\mathbb{E}\|\mathbf{x}-\mathbf{x}^{\text{alg}}\|_2^2 = o_n(1)$을 보장한다.
• 파편화 또는 복제 대칭 깨짐 임계점 이하에서는 어떤 안정적 알고리즘도 정확하게 샘플링할 수 없다는 것을 증명함으로써 정보 이론적 한계를 설정한다.
• 확산 과정과 확률적 국소화를 연결하고, 평균 추정을 위한 근사 메시지 전달을 통해 구현 가능한 샘플링 기법을 유도한다.

제안 방법

• 알고리즘은 확률적 국소화에서 유도된 이산화된 확산 과정을 사용하여 시스템을 목표 금속 측정값으로 향하게 한다.
• 이것은 목표 분포로 측도를 기울이는 연속 시간 확률적 국소화 과정에 의존한다.
• 기울인 측도의 평균은 수렴이 입증된 근사 메시지 전달(AMP) 알고리즘을 통해 근사된다.
• AMP 알고리즘은 전체 샘플링 오차가 정규화된 워셔슈타인 거리에서 $o_n(1)$을 유지하도록 보장하는 평균 제곱 오차 경계를 확보함을 보여준다.
• 연속 시간 근사에서 자연 경사 하강법 단계를 통해 구현되어 상태 공간의 효율적 탐색을 보장한다.
• 식물 모델 하에서 AMP 상태 진화의 수렴 분석과 연속성 논증을 통해 이론적 보장을 도출한다.

실험 결과

연구 질문

• RQ1 확산 기반 알고리즘이 고온도 영역에서 평균장 금속 측정값으로부터 효율적이고 다항식 시간 내에 샘플링할 수 있는가?
• RQ2 파편화 또는 복제 대칭 깨짐이 존재할 경우 안정적 샘플링 알고리즘의 본질적 한계는 무엇인가?
• RQ3 근사 메시지 전달은 스핀 거친 모델에서 기울인 금속 측정값의 평균을 얼마나 정확하게 추정할 수 있는가?
• RQ4 제안된 확산 과정이 정규화된 워셔슈타인 거리에서 진짜 금속 측정값에 가까운 샘플을 제공하는가?
• RQ5 이 알고리즘은 전체 복제 대칭 영역에서 성공할 수 있으며, 샤링턴-키르카드 모델을 포함하는가?

주요 결과

• 제안된 알고리즘은 $n^{-1}\mathbb{E}\|\mathbf{x}-\mathbf{x}^{\text{alg}}\|_2^2 = o_n(1)$을 달성하여, $n \to \infty$일 때 진짜 샘플과 알고리즘 샘플 간의 평균 제곱 거리가 사라짐을 의미한다.
• 알고리즘은 혼합 $p$-스핀 모델의 전체 복제 대칭 영역에서 성공하며, 샤링턴-키르카드 모델을 포함한다.
• 파편화의 시작 이하에서는 심지어 정규화된 워셔슈타인 거리 기준으로도 어떤 안정적 알고리즘도 금속 측정값을 근사적으로 샘플링할 수 없다.
• 복제 대칭 깨짐 임계점 이하에서는 어떤 알고리즘도 정확하게 샘플링할 수 없으며, 날카로운 정보 이론적 장벽을 설정한다.
• 평균 추정을 위한 사용된 AMP 알고리즘은 상태 진화 고정점으로 수렴하며, 전체 샘플링 정확도를 확보하기에 충분히 정확한 평균 추정을 달성한다.
• 경계 결과는 연속성과 불순도 혼란 논증을 통해 도출되며, 안정성이 비복제 대칭 영역에서 실패를 암시함을 보여준다.