[논문 리뷰] Efficient MCMC Sampling with Dimension-Free Convergence Rate using ADMM-type Splitting

Maxime Vono, Daniel Paulin외 1명|arXiv (Cornell University)|2019. 05. 23.

Markov Chains and Monte Carlo Methods참고 문헌 86인용 수 8

한 줄 요약

이 논문은 ADMM 최적화에 영감을 받은 MCMC 방법인 스플릿 게이블스 샘플러(SGS)의 이론적 분석을 제안하며, 리치 곡률과 커플링 기법을 통해 차원에 종속되지 않는 수렴 속도를 입증한다. 총변동 거리와 1-워샤르슈타인 거리에서 편향(비대칭적, 비점근적) 상한과 혼합 시간을 명시적으로 도출하여, 고차원 설정에서 랭제인 및 하밀토니안 MCMC 방법들과 경쟁 가능한 복잡도를 보인다.

ABSTRACT

Performing exact Bayesian inference for complex models is computationally intractable. Markov chain Monte Carlo (MCMC) algorithms can provide reliable approximations of the posterior distribution but are expensive for large datasets and high-dimensional models. A standard approach to mitigate this complexity consists in using subsampling techniques or distributing the data across a cluster. However, these approaches are typically unreliable in high-dimensional scenarios. We focus here on a recent alternative class of MCMC schemes exploiting a splitting strategy akin to the one used by the celebrated alternating direction of multipliers (ADMM) optimization algorithm. These methods appear to provide empirically state-of-the-art performance but their theoretical behavior in high dimension is currently unknown. In this paper, we propose a detailed theoretical study of one of these algorithms known as the split Gibbs sampler. Under regularity conditions, we establish explicit convergence rates for this scheme using Ricci curvature and coupling ideas. We support our theory with numerical illustrations.

연구 동기 및 목표

• ADMM에 영감을 받은 새로운 MCMC 방법인 스플릿 게이블스 샘플러(SGS)의 이론적 분석을 고차원 베이지안 추론 설정에서 수행한다.
• 총변동 거리와 1-워샤르슈타인 거리로 SGS가 진정한 사후분포와 상대적으로 유도하는 편향을 정량화한다.
• 리치 곡률과 커플링 기법을 활용하여 SGS의 명시적, 차원에 종속되지 않는 수렴 속도를 확립한다.
• 혼합 시간 상한을 유도하며, 차원, 조건수, 정밀도에 대한 명시적 의존성을 포함한다.
• 실제 응용 사례에 대한 수치적 예시를 통해 이론적 결과를 검증한다.

제안 방법

• 이 방법은 ADMM와 유사한 분할 전략을 사용하며, 표적 매개변수의 인위적 복제를 도입하여 분산 MCMC 샘플링을 가능하게 한다.
• SGS는 마스터 매개변수와 복제된 노드 매개변수를 포함하는 공동 사후분포 위에서 게이블스 샘플러로 구성된다.
• 리치 곡률 상한과 커플링 추론을 사용하여 스펙트럼 간격의 차원에 종속되지 않는 추정치를 도출하기 위해 수렴 분석을 수행한다.
• 정규성 조건 하에서 SGS 표적과 진정한 사후분포 사이의 총변동 거리와 1-워샤르슈타인 거리에 대한 명시적 비점근적 상한을 유도한다.
• 스펙트럼 간격과 초기 분포 의존성에 기반하여 혼합 시간을 상한으로 제시하며, 차원과 정밀도에 대한 명시적 의존성을 포함한다.
• 고차원 정규 모델에서의 수치 실험을 통해 SGS의 편향과 수렴에 대한 이론적 상한을 검증한다.

실험 결과

연구 질문

• RQ1 총변동 거리와 1-워샤르슈타인 거리 측면에서 스플릿 게이블스 샘플러가 진정한 사후분포와 상대적으로 유도하는 편향은 무엇인가?
• RQ2 스플릿 게이블스 샘플러는 고차원 모델에서 차원에 종속되지 않는 수렴 속도를 달성할 수 있는가?
• RQ3 SGS의 수렴 속도와 혼합 시간은 차원, 조건수, 목표 정밀도에 대해 어떻게 스케일링되는가?
• RQ4 혼합 시간이 SGS 체인의 초기 분포와 스펙트럼 간격에 대해 명시적으로 어떻게 의존하는가?
• RQ5 이론적 상한은 랭제인 또는 하밀토니안 역학과 같은 최첨단 MCMC 방법들과 실생활에서 어떻게 비교되는가?

주요 결과

• SGS 표적 분포와 진정한 사후분포 사이의 편향은 총변동 거리와 1-워샤르슈타인 거리에서 상한이 있으며, 분할 매개변수 ρ와 모델 매개변수에 대한 명시적 의존성이 있다.
• TV 편향 ≤ ε/2를 만족하는 충분조건이 유도되었으며, 이는 ρ²가 d_i M_i의 합과 σ_U⁴를 포함하는 함수에 의해 유계로 제약되어야 하며, 차원 d에 대한 명시적 의존성이 있다.
• SGS 체인의 스펙트럼 간격은 K_SGS 이하로 하한이 둔다. 이 K_SGS는 차원에 종속되지 않으며, 따라서 차원에 종속되지 않는 수렴 속도를 가능하게 한다.
• 혼합 시간 t_mix(ε;ν)는 O(log(2/ε)/K_SGS)로 상한이 둔다. 초기 분포와 K_SGS에 대한 명시적 의존성이 있으며, 유리한 스케일링을 보인다.
• 편향과 혼합 시간에 대한 이론적 상한은 고차원 설정에서 랭제인 및 하밀토니안 MCMC 기법들과 경쟁 가능하다.
• 테스트용 정규 분포 예제에 대한 수치 결과는 이론적 상한의 날카로움을 확인하며, SGS가 기준 MCMC 방법들보다 뛰어난 성능을 보임을 시사한다.