[논문 리뷰] Schr{ö}dinger-F{ö}llmer Sampler: Sampling without Ergodicity

Jian Huang, Yuling Jiao외 4명|arXiv (Cornell University)|2021. 06. 21.

Markov Chains and Monte Carlo Methods참고 문헌 66인용 수 5

한 줄 요약

이 논문은 비마르코프성(non-Markovian) 샘플링 방법인 슈뢰딩거-포름러 샘플러(Schrödinger-Föllmer Sampler, SFS)를 제안한다. 이 방법은 에르고딕성(ergodicity)이 필요 없이 비정규화된 목표 분포에서 샘플을 생성할 수 있다. 시간에 따라 변화하는 확산 과정을 활용하며, 이 과정의 드리프트 항은 슈뢰딩거 브리지 문제로부터 유도되며, 오일러-마르야마(Euler-Maruyama) 방법을 통해 이산화된다. SFS는 비점근적(Wasserstein) 오차 경계를 달성하여 기존 방법들과 비교해 수치 실험에서 뛰어난 샘플 품질을 보였다.

ABSTRACT

Sampling from probability distributions is an important problem in statistics and machine learning, specially in Bayesian inference when integration with respect to posterior distribution is intractable and sampling from the posterior is the only viable option for inference. In this paper, we propose Schrödinger-Föllmer sampler (SFS), a novel approach for sampling from possibly unnormalized distributions. The proposed SFS is based on the Schrödinger-Föllmer diffusion process on the unit interval with a time dependent drift term, which transports the degenerate distribution at time zero to the target distribution at time one. Comparing with the existing Markov chain Monte Carlo samplers that require ergodicity, no such requirement is needed for SFS. Computationally, SFS can be easily implemented using the Euler-Maruyama discretization. In theoretical analysis, we establish non-asymptotic error bounds for the sampling distribution of SFS in the Wasserstein distance under suitable conditions. We conduct numerical experiments to evaluate the performance of SFS and demonstrate that it is able to generate samples with better quality than several existing methods.

연구 동기 및 목표

• 기존 MCMC 샘플러의 한계, 특히 에르고딕성에 대한 의존성과 다중모달 또는 고차원 설정에서의 열악한 성능를 해결하기 위해.
• 강한 볼록성 또는 로그-소볼레프 조건을 만족시키지 않아도 비정규화된 목표 분포에서 고품질 샘플을 효율적으로 생성할 수 있는 샘플링 프레임워크를 개발하기 위해.
• 약한 정규성 조건 하에서 워셔스타인 거리에서 샘플링 오차에 대한 엄밀한 비점근적 오차 경계를 수립하기 위해.
• 어려운 목표 분포에 대한 수치 실험을 통해 제안된 방법의 실용적 우수성을 입증하기 위해.

제안 방법

• 이 방법은 시간에 따라 변화하는 이토(Itō) 확률미분방정식(SDE)에 기반하며, 초기 분포가 $ t=0 $에서 퇴화된 상태이고 $ t=1 $에서 목표 분포 $ \mu $로 이동하는 드리프트 항 $ b(X_t, t) $ 를 포함한다.
• 드리프트 $ b $ 는 고정된 주변 분포를 갖는 브라운 운동에 대한 상대 엔트로피를 최소화하는 슈뢰딩거 브리지 문제로부터 유도된다.
• SDE 는 시간 간격 $ \delta_k = t_{k+1} - t_k $ 를 사용한 오일러-마르야마 스킴으로 이산화되며, 순차적 갱신식 $ Y_{t_{k+1}} = Y_{t_k} + \delta_k b(Y_{t_k}, t_k) + \sqrt{\delta_k} \epsilon_{k+1} $ 을 얻는다.
• 계산 가능성을 확보하기 위해 드리프트의 몬테카를로 근사치 $ \tilde{b}_m $ 이 사용되며, 이에 대한 오차 경계는 $ m $, 즉 근사치에 사용된 샘플 수에 따라 유도된다.
• 이론적 분석을 통해 샘플링 분포와 목표 분포 사이의 비점근적 $ W_2 $-거리 오차 경계가 확립되었으며, 이는 $ \mathcal{O}(\sqrt{ps}) + \mathcal{O}(\sqrt{p/m}) $ 의 형태로 감소한다. 여기서 $ s $ 는 스텝 크기이고 $ p $ 는 차원이다.
• 이 방법은 비에르고딕성에 대해 강건하여, 기존 MCMC 방법이 느린 혼합을 보이는 다중모달 또는 고차원 목표 분포에서의 샘플링이 가능하다.

실험 결과

연구 질문

• RQ1 기본 마르코프 과정의 에르고딕성에 의존하지 않는 샘플링 방법을 설계할 수 있는가?
• RQ2 슈뢰딩거 브리지에 기반한 비마르코프성 샘플링 체계에 대해 워셔스타인 거리에서 점근적이지 않은 오차 경계를 확립할 수 있는가?
• RQ3 다중모달 또는 고차원 분포에서 기존 MCMC 방법과 비교해 제안된 샘플러의 샘플 품질은 어떻게 되는가?
• RQ4 이산화 및 드리프트 근사화의 영향은 샘플링 분포의 목표 분포 수렴에 어떤가?
• RQ5 목표 분포가 강한 볼록성 또는 로그-소볼레프 성질을 갖지 않더라도 이 방법이 목표 분포로 수렴할 수 있는가?

주요 결과

• 슈뢰딩거-포름러 샘플러(SFS)는 스텝 크기 $ s $ 와 드리프트 근사에 사용된 샘플 수 $ m $ 에 대해 비점근적 $ W_2 $-거리 오차 경계를 $ \mathcal{O}(\sqrt{ps}) + \mathcal{O}(\sqrt{p/m}) $ 의 순서로 달성한다.
• 이 방법은 에르고딕성 조건이 필요 없어, 기존 MCMC 방법이 지수적으로 느린 혼합을 보이는 다중모달 또는 고차원 분포에서 효과적인 샘플링이 가능하다.
• 수치 실험 결과 SFS는 여러 기존 방법보다 뛰어난 샘플 품질을 보였으며, 특히 다중모달 사후분포와 같은 도전적인 상황에서 뚜렷한 우수성을 보였다.
• 이론적 수렴은 극한에서 성립한다: $ K \to \infty $ 일 때 $ W_2(\text{Law}(Y_{t_K}(\varepsilon)), \mu) \to 0 $ 이고, $ m,K \to \infty $ 일 때 $ W_2(\text{Law}(\widetilde{Y}_{t_K}(\varepsilon)), \mu) \to 0 $ 이다. 이는 $ \mu $ 가 강한 볼록성을 갖지 않더라도 성립한다.
• 오차 경계 분석은 이산화 오차와 몬테카를로 근사 오차를 모두 고려하며, 주요 항은 각각 $ \sqrt{ps} $ 와 $ \sqrt{p/m} $ 에 비례함을 보였다.
• 이 방법은 로그-소볼레프 또는 분산 조건이 없어도 강건하여, 많은 기존 랑주방 기반 샘플러보다 더 넓은 범위의 목표 분포에 적용 가능하다.