[논문 리뷰] Fluctuation without dissipation: Microcanonical Langevin Monte Carlo

Jakob Robnik, Uroš Seljak|arXiv (Cornell University)|2023. 03. 31.

Markov Chains and Monte Carlo Methods인용 수 4

한 줄 요약

이 논문은 구성 공간에서 목표 캐노니컬 분포를 유지하면서 에너지 보존을 하는 소산 없는 확률적 샘플링 방법인 마이크로canonical 랑주뱅 몽테카를로(MCLMC)를 제안한다. 기존의 랑주뱅 동역학과 달리, MCLMC는 에너지를 보존하는 노이즈를 사용하여 빠른 수렴을 가능하게 하며, 8×8 격자에서는 HMC보다 12배 빠르고, 64×64 격자에서는 32배 빠르다. 이는 편향 없는 이산화와 볼록 잠재력에 대한 기하학적 에르고딕성 덕분이다.

ABSTRACT

Stochastic sampling algorithms such as Langevin Monte Carlo are inspired by physical systems in a heat bath. Their equilibrium distribution is the canonical ensemble given by a prescribed target distribution, so they must balance fluctuation and dissipation as dictated by the fluctuation-dissipation theorem. In contrast to the common belief, we show that the fluctuation-dissipation theorem is not required because only the configuration space distribution, and not the full phase space distribution, needs to be canonical. We propose a continuous-time Microcanonical Langevin Monte Carlo (MCLMC) as a dissipation-free system of stochastic differential equations (SDE). We derive the corresponding Fokker-Planck equation and show that the stationary distribution is the microcanonical ensemble with the desired canonical distribution on configuration space. We prove that MCLMC is ergodic for any nonzero amount of stochasticity, and for smooth, convex potentials, the expectation values converge exponentially fast. Furthermore, the deterministic drift and the stochastic diffusion separately preserve the stationary distribution. This uncommon property is attractive for practical implementations as it implies that the drift-diffusion discretization schemes are bias-free, so the only source of bias is the discretization of the deterministic dynamics. We applied MCLMC on a lattice $ϕ^4$ model, where Hamiltonian Monte Carlo (HMC) is currently the state-of-the-art integrator. For the same accuracy, MCLMC converges 12 times faster than HMC on an $8 imes8$ lattice. On a $64 imes64$ lattice, it is already 32 times faster. The trend is expected to persist to larger lattices, which are of particular interest, for example, in lattice quantum chromodynamics.

연구 동기 및 목표

• 편미분-소산 정리의 제약을 피하고 구성 공간 분포에만 집중하는 확률적 샘플링 방법을 개발하는 것.
• 에너지 보존 동역학이 위상공간의 캐노니컬 평형이 아닌, 정확한 목표 분포를 도출할 수 있음을 보여주는 것.
• 에르고딕성과 빠른 수렴을 보장하는 연속시간 SDE 프레임워크인 마이크로canonical 랑주뱅 몽테카를로(MCLMC)를 설계하는 것.
• 특히 임계 둔화 상황에서 고차원 격자 양자장 이론에서 HMC와 NUTS보다 뛰어난 성능을 보이는 MCLMC의 성능을 입증하는 것.
• 드라이프와 확산을 분리함으로써 실용적이고 편향 없는 이산화 방법을 가능하게 하는 것.

제안 방법

• 전체 에너지를 보존하는 확률적 노이즈를 사용하는 연속시간 SDE 시스템을 제안하여 속도 감쇠가 필요 없도록 하는 것.
• MCLMC에 대응하는 포크너-플랭크 방정식을 유도하여, 정적 분포가 구성 공간에서 목표 분포와 일치함을 증명하는 것.
• 정적 분포가 각각 독립적으로 드라이프와 확산 성분에 의해 보존됨을 확립하는 것.
• 임의의 비영인 노이즈 수준에서 에르고딕성을 증명하고, 매끄럽고 볼록한 잠재력 하에서 기하학적 에르고딕성을 입증하는 것.
• MCLMC를 격자 φ⁴ 모델에 적용하고, 타당성과 ESS(효율적 표본 크기)를 기반으로 HMC와 NUTS와 비교하는 것.
• 냉각 기법을 사용한 웜업 샘플링을 적용하고, 성능 비교에 테이닝 비용을 포함시켜 공정한 벤치마킹을 수행하는 것.

Figure 1: Top: susceptibility in the vicinity of the phase transition. We follow Gerdes et al. ( 2022 ) and rescale the susceptibility and the quartic coupling by the Ising model critical exponents $\nu=1$ , $\gamma=7/4$ and the critical coupling $\lambda_{C}=4.25$ from Vierhaus ( 2010 ) . The resca

실험 결과

연구 질문

• RQ1 편미분-소산 정리를 피하면서도 구성 공간에서 정확한 목표 분포를 도출할 수 있는 확률적 샘플링 방법이 존재하는가?
• RQ2 SDE 프레임워크에서 에너지 보존 노이즈가 원하는 캐노니컬 분포와 일치하는 정적 분포를 생성하는가?
• RQ3 고차원 격자 양자장 이론에서, 특히 상전이 근처에서 MCLMC는 HMC보다 더 빠른 수렴을 달성할 수 있는가?
• RQ4 드라이프와 확산을 별도로 처리할 경우, MCLMC의 이산화 과정에서 편향이 발생하는가?
• RQ5 임계 둔화 상황에서 MCLMC의 성능은 HMC와 NUTS에 비해 격자 크기에 따라 어떻게 변화하는가?

주요 결과

• MCLMC는 φ⁴ 모델에서 8×8 격자에서는 HMC보다 12배 빠르고, 64×64 격자에서는 32배 빠르게 동일한 정확도를 달성한다.
• MCLMC의 그라디언트 평가당 효율적 표본 크기(ESS)는 격자 크기와 결합 강도에 거의 영향을 받지 않으며, HMC와 NUTS는 임계 둔화로 인해 성능이 저하된다.
• 테이닝 비용을 포함한 성능 비교에서 MCLMC는 HMC와 NUTS를 최소 40배 이상 뛰어넘으며, d=10⁸에서 2~3개의 지수 차수만큼의 전망된 이점이 있다.
• 매끄럽고 로그-볼록한 잠재력 하에서 MCLMC는 기하학적 에르고딕성을 확보하여 기대값의 지수 수렴을 보장한다.
• 드라이프-확산 결합으로 인한 편향이 MCLMC 이산화 과정에 발생하지 않으며, 각 성분이 별도로 정적 분포를 보존하기 때문이다.
• L=64일 때 MCLMC의 월클록 타임은 GPU에서 몇 밀리초 이내이며, 정규화 흐름 기반 샘플러는 수 시간이 소요되어 더 큰 격자에서는 비현실적이 된다.