[논문 리뷰] Generalized and hybrid Metropolis-Hastings overdamped Langevin algorithms

Romain Poncet|arXiv (Cornell University)|2017. 01. 19.

Markov Chains and Monte Carlo Methods참고 문헌 14인용 수 8

한 줄 요약

이 논문은 MCMC 샘플링에서 점근적 분산을 감소시키기 위해 비가역 동역학을 활용하는 일반화된 및 하이브리드 메트로폴리스-해스팅스 과다확산 랑주뱅 알고리즘(GMALA 및 GHMALA)을 소개한다. 높은 차원의 목표 분포를 가진 단순한 예제에서 표준 MALA 대비 분산 감소율이 최대 500배에 이를 수 있다.

ABSTRACT

It has been shown that the nonreversible overdamped Langevin dynamics enjoy better convergence properties in terms of spectral gap and asymptotic variance than the reversible one. In this article we propose a variance reduction method for the Metropolis-Hastings Adjusted Langevin Algorithm (MALA) that makes use of the good behaviour of the these nonreversible dynamics. It consists in constructing a nonreversible Markov chain (with respect to the target invariant measure) by using a Generalized Metropolis-Hastings adjustment on a lifted state space. We present two variations of this method and we discuss the importance of a well-chosen proposal distribution in terms of average rejection probability. We conclude with numerical experimentations to compare our algorithms with the MALA, and show variance reduction of several order of magnitude in some favourable toy cases.

연구 동기 및 목표

• 표준의 가역적 방법(예: MALA)에 비해 수렴 속도를 향상시키고 점근적 분산을 감소시키는 비가역 MCMC 알고리즘을 개발하는 것.
• 고전적 MALA가 고차원 또는 집중된 목표 분포에서 성능이 떨어지는 문제를 해결하기 위해 일반화된 메트로폴리스-해스팅스 조정을 통해 비가역적 드리프트를 통합하는 것.
• 특히 해밀토니안 적분기법을 활용한 효율적인 제안 메커니즘 설계를 통해 높은 수용률을 유지하면서도 분산 감소를 달성하는 것.
• 저차원 집중 분포를 가진 단순 분포에 대한 수치 실험을 통해 제안 알고리즘의 실용적 우수성을 입증하는 것.

제안 방법

• 목표 측도 π에 대해 비가역 마코프 체인을 구성하기 위해 목표 측도 π에 대해 상승된 상태공간에서 일반화된 메트로폴리스-해스팅스 조정을 제안한다.
• 비대칭 행렬 J를 사용하여 비가역적 드리프트 γ(x) = J∇logπ(x)를 정의함으로써 ∇·(γπ) = 0를 확보하고, 불변 측도 π를 유지한다.
• 제안 단계에서 해밀토니안 역학을 수치적으로 해결하기 위해 심플렉틱 좌표변환 후 중심점 적분기를 사용한다.
• 이산화 오차를 보정하고 상승된 공간에서 세부 균형을 확보하기 위해 메트로폴리스-해스팅스 수용-기각 단계를 적용한다.
• 분리 가능한 해밀토니안(예: 사차형 가우시안 케이스)의 경우 고정점 반복을 피하기 위해 명시적 적분기를 사용하여 계산 비용을 감소시킨다.
• GMALA에서는 암시적 성격에도 불구하고 고정점 계산 없이 고수용률을 유지하기 위해 중간점 이산화를 사용한다.

실험 결과

연구 질문

• RQ1 비가역 과다확산 랑주뱅 역학을 효과적으로 메트로폴리스-해스팅스 프레임워크에 적용하여 MCMC 샘플링에서 점근적 분산을 감소시킬 수 있는가?
• RQ2 제안 분포와 적분기의 선택이 비가역 MCMC 알고리즘의 평균 기각 확률과 성능에 미치는 영향은 어떠한가?
• RQ3 비가역 MCMC 알고리즘에서 높이 올리기와 해밀토니안 역학이 표준 MALA에 비해 고차원 또는 집중된 목표 분포에서 샘플링 효율을 얼마나 향상시킬 수 있는가?
• RQ4 명시적 적분기와 암시적 적분기의 사용이 비가역 MCMC 방법의 계산 비용과 분산 감소에 미치는 영향은 어떠한가?
• RQ5 일반화된 및 하이브리드 메트로폴리스-해스팅스 랑주뱅 알고리즘을 통해 몇 개의 지수 정도의 분산 감소를 실질적으로 달성할 수 있는가?

주요 결과

• 왜곡된 가우시안 분포에서 큰 시간 간격을 사용할 경우 GHMALA는 고전적 MALA 대비 약 500배의 분산 감소를 달성하였다.
• 동일한 왜곡된 가우시안 케이스에서 GMALA는 작은 시간 간격에서 MALA 대비 약 60배의 분산 감소를 보였으며, 이는 작은 시간 간격에서 유사한 성능을 유지하였다.
• 사차형 가우시안 분포의 경우 GHMALA는 작은 시간 간격에서 점근적 분산을 약 280배 감소시켰으며, 최소 분산은 MALA의 약 50배 이하로 떨어졌다.
• GHMALA는 비리프시츠 드리프트로 인해 제안 커널이 악조건이 되는 GMALA와 달리, 더 큰 시간 간격에서도 안정성과 낮은 분산을 유지하였다.
• 심플렉틱 좌표변환과 중심점 적분기를 사용함으로써 해밀토니안 역학의 안정적이고 정확한 통합이 가능해져 더 큰 시간 간격과 낮은 분산을 가능케 하였다.
• 명시적 적분기는 분리 가능한 비리프시츠 케이스(예: 사차형 포텐셜)에서 효과적이었으며, 고정점 반복을 피하고 계산 비용을 감소시키면서도 분산 감소를 유지하였다.