[논문 리뷰] Diffusion Models as Stochastic Quantization in Lattice Field Theory

Lingxiao Wang, Gert Aarts외 1명|arXiv (Cornell University)|2023. 09. 29.

Stochastic processes and statistical mechanicsMathematics참고 문헌 82인용 수 3

한 줄 요약

이 논문은 기계학습의 확산 모델(DMs)과 격자 양자장론에서의 확률적 양자화(SQ) 사이의 이론적이고 수치적인 연결을 수립한다. 저자들은 DMs를 랑주앙 과정의 역과정으로 해석함으로써, DMs가 2D φ⁴ 이론에서 양자 격자장 구성의 효율적인 전역 샘플러로 기능할 수 있음을 보여주며, 특히 임계 영역에서 기존의 마르코프 체인 몬테카를로(MCMC) 방법에 비해 자가상관 시간을 크게 감소시킴을 입증한다.

ABSTRACT

In this work, we establish a direct connection between generative diffusion models (DMs) and stochastic quantization (SQ). The DM is realized by approximating the reversal of a stochastic process dictated by the Langevin equation, generating samples from a prior distribution to effectively mimic the target distribution. Using numerical simulations, we demonstrate that the DM can serve as a global sampler for generating quantum lattice field configurations in two-dimensional $ϕ^4$ theory. We demonstrate that DMs can notably reduce autocorrelation times in the Markov chain, especially in the critical region where standard Markov Chain Monte-Carlo (MCMC) algorithms experience critical slowing down. The findings can potentially inspire further advancements in lattice field theory simulations, in particular in cases where it is expensive to generate large ensembles.

연구 동기 및 목표

• 생성 확산 모델(DMs)과 양자장론에서의 확률적 양자화(SQ) 사이의 이론적 연결을 수립하기 위해.
• DMs가 양자장론의 격자장 구성의 전역 샘플러로 기능할 수 있는지 조사하기 위해.
• 특히 임계점 근처에서 자가상관 시간을 줄이는 데 DMs의 성능을 평가하기 위해.
• DMs가 격자 양자장론에서 SQ에 의해 유도되는 확률적 역학을 잘 캡처함을 수치적으로 입증하기 위해.
• 특히 계산 비용이 큰 영역에서 대규모 격자 양자장론 시뮬레이션의 효율성을 향상시킬 수 있는 DMs의 잠재력을 탐색하기 위해.

제안 방법

• 저자들은 랑주앙 방정식에 의해 지배되는 확률적 과정의 역과정으로서의 확산 과정을 모델링하여, DMs와 확률적 양자화를 연결한다.
• 변분 추론을 통해 목표 분포의 스코어 함수를 학습하기 위해 U-Net 기반의 노이즈 제거 스코어 기반 모델을 훈련시킨다.
• 각 확산 단계에서 노이즈를 예측하기 위해 시간 임bedded U-Net 아키텍처, 스킵 연결, 그룹 정규화, 그리고 Swish 활성화 함수를 사용한다.
• 스코어 함수는 스코어 함수의 발산을 랜덤 벡터 투영을 통해 효율적으로 계산할 수 있는 스킬링-허치슨 추정기를 사용하여 추정한다.
• 확률 흐름의 상미분방정식은 수치적 적분기를 사용하여 목표 분포에서 샘플을 생성한다.
• 하이브리드 몬테카를로(HMC)를 기준선으로 하여 2D φ⁴ 격자 양자장론에서 시험하였으며, DMs를 구성의 초기화 또는 재샘플링에 사용한다.

실험 결과

연구 질문

• RQ1 확산 모델은 격자 양자장론에서 랑주앙 방정식에 의해 정의된 확률적 과정의 역과정으로 해석될 수 있는가?
• RQ2 확산 모델은 격자 양자장론의 MCMC 시뮬레이션에서 자가상관 시간을 특히 임계 영역에서 크게 감소시키는가?
• RQ3 DMs는 표준 HMC 시뮬레이션의 결과와 통계적으로 일치하는 장 구성의 샘플을 효과적으로 생성할 수 있는가?
• RQ4 비틀림이 있는 양자장론에서 수치적 검증을 통해 DM 기반 샘플링 방법이 강건하고 자기 일관성이 있는가?
• RQ5 임계 둔화가 발생하는 장론의 대규모 집합에서 표준 MCMC에 비해 DM 접근법이 샘플링 효율성 면에서 뛰어나게 작용할 수 있는가?

주요 결과

• 확산 모델은 랑주앙 방정식에 의해 정의된 확률적 과정의 역과정으로 해석될 수 있으며, 이는 DMs와 확률적 양자화 사이의 직접적인 이론적 연결을 수립한다.
• 2D φ⁴ 이론에서 DMs는 마르코프 체인의 자가상관 시간을 크게 감소시키며, 특히 표준 MCMC가 임계 둔화에 취약한 임계 영역에서 뚜렷한 효과를 보인다.
• DM 기반 샘플러는 표준 HMC와 통계적으로 일치하는 장 구성의 샘플을 생성하며, 자기 일관성 검증을 통해 이를 확인하였다.
• 이 방법은 더 빠른 수렴과 더 낮은 계산 비용을 가능하게 하여 샘플링 효율성이 향상되었음을 보여준다.
• 스킬링-허치슨 추정기는 훈련 중에 정확하고 효율적인 가능도 추정을 가능하게 하였으며, 발산 근사의 표본 크기 10에서 수렴이 관찰되었다.
• 수치적 증거는 DM이 SQ에 의해 유도되는 확률적 역학을 잘 캡처함을 확인하였으며, 이는 DM을 격자 양자장론에서의 전역 샘플러로 사용할 수 있음을 검증한다.