[논문 리뷰] Simulated Tempering Langevin Monte Carlo II: An Improved Proof using Soft Markov Chain Decomposition

Rong Ge, Holden Lee외 1명|arXiv (Cornell University)|2018. 11. 29.

Markov Chains and Monte Carlo Methods참고 문헌 53인용 수 11

한 줄 요약

이 논문은 랭지에빈 확산과 시뮬레이티드 템퍼링을 조합하여 다중모달 분포에 대한 증명 가능하게 빠른 샘플링 알고리즘을 제안한다. 이는 스펙트럼 갭을 확립하기 위해 새로운 소프트 마르코프 체인 분해 기법을 사용한다. 동일한 분산을 가진 가우시안 혼합 분포에 대해, 로그-볼록성이 없고 다중모달인 타겟 분포일지라도 기울기 접근만으로도 다항식 시간 혼합을 달성한다.

ABSTRACT

A key task in Bayesian machine learning is sampling from distributions that are only specified up to a partition function (i.e., constant of proportionality). One prevalent example of this is sampling posteriors in parametric distributions, such as latent-variable generative models. However sampling (even very approximately) can be #P-hard. Classical results going back to Bakry and Émery (1985) on sampling focus on log-concave distributions, and show a natural Markov chain called Langevin diffusion mixes in polynomial time. However, all log-concave distributions are uni-modal, while in practice it is very common for the distribution of interest to have multiple modes. In this case, Langevin diffusion suffers from torpid mixing. We address this problem by combining Langevin diffusion with simulated tempering. The result is a Markov chain that mixes more rapidly by transitioning between different temperatures of the distribution. We analyze this Markov chain for a mixture of (strongly) log-concave distributions of the same shape. In particular, our technique applies to the canonical multi-modal distribution: a mixture of gaussians (of equal variance). Our algorithm efficiently samples from these distributions given only access to the gradient of the log-pdf. For the analysis, we introduce novel techniques for proving spectral gaps based on decomposing the action of the generator of the diffusion. Previous approaches rely on decomposing the state space as a partition of sets, while our approach can be thought of as decomposing the stationary measure as a mixture of distributions (a "soft partition"). Additional materials for the paper can be found at http://holdenlee.github.io/Simulated%20tempering%20Langevin%20Monte%20Carlo.html. The proof and results have been improved and generalized from the precursor at arXiv:1710.02736.

연구 동기 및 목표

• 다중모달이고 로그-볼록이 아닌 분포에서 샘플링할 때 랭지에빈 몬테카를로의 느린 혼합 문제를 해결하기 위해.
• 고차원 환경에서 온도 기반 샘플링 방법—시뮬레이티드 템퍼링—과 랭지에빈 역학을 조합한 이론적 보장을 제공하기 위해.
• 클래식한 랭지에빈 확산이 모드 간 분리로 인해 다중모달 분포에서 느린 혼합을 겪는 한계를 극복하기 위해.
• 오직 로그 밀도의 기울기 접근만으로도 동일한 분산을 가진 가우시안 혼합 분포에 대해 빠른 혼합 시간을 확립하기 위해.
• 상태공간을 분할하는 대신 정(stationary) 측도를 혼합으로 분해하는 데 기반한 새로운 분석 프레임워크—소프트 마르코프 체인 분해—를 도입하기 위해.

제안 방법

• 다양한 역온도 매개변수에서 랭지에빈 확산을 번갈아 적용하여 국소 모드에서 벗어나도록 하는 하이브리드 마르코프 과정을 도입한다.
• 성분 분포(예: 가우시안)로 정(stationary) 측도를 소프트로 분해하여 측도 이론적 분해를 통한 스펙트럼 갭 분석을 가능하게 한다.
• 온도 조정된 잠재력과 함께 연속시간 확산 과정을 사용하여 모드 간 전이를 촉진한다.
• 작은 타겟 분포의 변동에 대한 내성성을 보여주기 위해 편미분 내성 분석을 적용한다.
• 강한 볼록성 및 매끄러움 가정 하에 농도 불등식과 함께 분할 함수 비율에 대한 경계를 유도한다.
• 확산의 생성자와 정(stationary) 측도의 혼합 구조 사이의 관계를 연결하는 새로운 분해 정리에 기반해 스펙트럼 갭을 확립한다.

실험 결과

연구 질문

• RQ1 시뮬레이티드 템퍼링과 랭지에빈 역학을 조합한 알고리즘이 가우시안 혼합과 같은 다중모달 분포에 대해 빠른 혼합을 달성할 수 있는가?
• RQ2 로그 밀도의 기울기 접근만으로도 이러한 조합 알고리즘에 대해 다항식 혼합 시간을 증명할 수 있는가?
• RQ3 스펙트럼 갭 분석을 상태공간 분할을 초월하여 겹치는 모드를 가진 분포를 다룰 수 있도록 일반화할 수 있는가?
• RQ4 모드의 기하학적 구조와 분리 정도에 어떤 조건이 온도 기반 샘플링에서 빠른 혼합을 보장하는가?
• RQ5 분석을 타겟 분포의 변형되거나 노이즈가 섞인 경우로 확장할 수 있는가?

주요 결과

• 제안된 알고리즘은 모드가 잘 분리되어 있더라도 동일한 분산을 가진 가우시안 혼합 분포에 대해 다항식 혼합 시간을 달성한다.
• 적절한 매개변수에서 온도 차이가 O(1/(K(D² + d/(ακ) + (1/(ακ))ln(1/w_min))))일 경우, 스펙트럼 갭은 Ω(1) 이상의 하한을 가진다.
• 소프트 마르코프 체인 분해 기법은 전통적인 상태공간 분할보다 더 날카운 분석을 가능하게 하며, 특히 겹치는 모드나 다중모달 분포에 대해 유리하다.
• 알고리즘은 타겟 분포의 변형에 대해 강건하며, 유한한 변형 범위 내에서 혼합 시간 보장이 유지된다.
• 분석 결과, 적절한 온도 간격에서 분할 함수 비율 Z_β / Z_α는 Ω(1) 이상으로 하한이 보장되어 효율적인 템퍼팅을 위한 충분한 겹침을 보장한다.
• 이 프레임워크는 강한 로그-볼록 혼합 분포로 일반화되며, 이 기울기 접근 환경에서 다중모달 분포에 대해 증명 가능하게 빠른 혼합 결과를 처음으로 제공한다.