[논문 리뷰] Diffusion approximations and control variates for MCMC

Nicolas Brosse, Alain Durmus외 3명|arXiv (Cornell University)|2018. 08. 05.

Markov Chains and Monte Carlo Methods참고 문헌 35인용 수 14

한 줄 요약

이 논문은 마르코프 체인 몬테카를로(MCMC)에서 추정기의 점점 줄어드는 분산을 줄이기 위한 새로운 방법을 제안한다. 라플라스 확산의 점점 줄어드는 분산을 특정 함수의 집합에서 최소화함으로써, 이 접근법은 확산 근사법을 활용하여 효과적인 제어 변수를 설계하며, MALA 및 RWM과 같은 MCMC 샘플러에서 분산을 크게 감소시킨다. 이는 이론적 보장과 베이지안 추론 문제에서의 실증적 검증을 통해 입증된다.

ABSTRACT

A new methodology is presented for the construction of control variates to reduce the variance of additive functionals of Markov Chain Monte Carlo (MCMC) samplers. Our control variates are definedthrough the minimization of the asymptotic variance of the Langevin diffusion over a family of functions, which can be seen as a quadratic risk minimization procedure. The use of these control variates is theoretically justified. We show that the asymptotic variances of some well-known MCMC algorithms, including the Random Walk Metropolis and the (Metropolis) Unadjusted/Adjusted Langevin Algorithm, are close to the asymptotic variance of the Langevin diffusion. Several examples of Bayesian inference problems demonstrate that the corresponding reduction in the variance is significant.

연구 동기 및 목표

• MCMC 방법에서 몬테카를로 추정기의 점점 줄어드는 분산을 줄이는 것. 이는 샘플링 효율성을 향상시키는 데 핵심적이다.
• 라플라스 확산의 점점 줄어드는 분산을 기준으로 하여 제어 변수를 체계적으로 구성하는 방법론을 개발하는 것.
• 이산 시간 MCMC 알고리즘에 대해 라플라스 확률미분방정식(SDE)의 생성자로부터 유도된 제어 변수의 사용을 정당화하는 것.
• MALA 및 RWM과 같은 MCMC 알고리즘의 점점 줄어드는 분산이 연속 시간 라플라스 확산의 분산과 잘 근사됨을 보여주는 것.
• 제안된 제어 변수가 베이지안 추론 문제에서 상당한 분산 감소를 이끌어내는 이론적 및 실증적 증거를 제공하는 것.

제안 방법

• 제어 변수는 특정 함수의 집합, 특히 SDE의 생성자의 이미지에 속하는 함수들에 대해 라플라스 확산의 점점 줄어드는 분산을 최소화함으로써 구성된다.
• 생성자 $\mathscr{L}\varphi = -\langle \nabla U, \nabla \varphi \rangle + \Delta \varphi $ 를 사용하여 매끄러운 함수 $ g $ 에 대해 제어 함수 $ h = \mathscr{L}g $ 를 정의한다.
• 점점 줄어드는 분산의 최소화를 위해 2차 위험 최소화 기법을 적용함으로써, 제어 변수가 $ L^2 $-기준에서 최적화된다.
• 이론적 정당성을 위해 MALA 및 RWM의 점점 줄어드는 분산이 스케일링 인자 외에는 라플라스 확산의 분산과 유사함을 보여주는 것이 제시된다.
• 베이지안 추론 사례를 통해 실증적으로 검증되었으며, 실질적인 분산 감소가 관찰된다.
• MALA 커널의 기하학적 에르고딕성을 보장하기 위해 리아파노프 함수 $ V_{\bar{\eta}}(x) = \exp(\bar{\eta} \|x\|^2) $ 를 사용한 드리프트 조건을 설정하였다.

실험 결과

연구 질문

• RQ1 라플라스 확산의 생성자로부터 유도된 제어 변수가 이산 시간 MCMC 샘플러에서 점점 줄어드는 분산을 효과적으로 줄일 수 있는가?
• RQ2 MALA 및 RWM의 점점 줄어드는 분산은 연속 시간 라플라스 확산의 분산과 얼마나 가까운가?
• RQ3 확산 근사법을 통해 구성된 제어 변수가 증명 가능한 분산 감소를 이끌어내기 위한 조건은 무엇인가?
• RQ4 실제 베이지안 추론 환경에서 이 새로운 방법론을 통해 MCMC 추정기의 점점 줄어드는 분산을 어느 정도까지 줄일 수 있는가?
• RQ5 잠재 에너지 함수 $ U $ 에 대해 어떤 정규성 조건이 성립할 경우 확산 근사법이 유효하고 제어 변수 방법이 유지되는가?

주요 결과

• MALA 및 RWM 알고리즘의 점점 줄어드는 분산이 라플라스 확산의 분산과 유사함이 입증되어, 확산 기반 제어 변수의 사용을 정당화한다.
• 라플라스 SDE의 점점 줄어드는 분산을 최소화함으로써 유도된 제안된 제어 변수는, 베이지안 추론 사례에서 실증적으로 상당한 분산 감소를 이끌어낸다.
• 이 방법은 생성자 $ \mathscr{L} $ 의 이미지 위에서 2차 위험 최소화를 통해 제어 변수를 체계적으로 구성하는 이론적으로 타당한 프레임워크를 제공한다.
• 리아파노프 함수를 사용하여 MALA에 대해 드리프트 조건을 확립하였으며, 이는 기하학적 에르고딕성을 증명하고 확산 근사법의 타당성을 뒷받침한다.
• 이론적 분석을 통해 제어된 추정기 $ \sigma^2_{\infty,\text{d}}(f+h) $ 의 점점 줄어드는 분산이 원래 추정기의 분산보다 위쪽으로 유계임을 확인하였으며, $ U $ 에 대한 온건한 조건 하에서 명시적 상한을 제공한다.
• 실증 결과는 특히 고차원 환경에서 제어 변수에 의한 고분산 성분의 효과적 상쇄 덕분에 분산 감소가 상당히 크다는 것을 보여준다.