[논문 리뷰] Gradient-based Adaptive Markov Chain Monte Carlo

Michalis K. Titsias, Πέτρος Δελλαπόρτας|arXiv (Cornell University)|2019. 11. 04.

Markov Chains and Monte Carlo Methods인용 수 10

한 줄 요약

이 논문은 거리 기반 적응형 MCMC 프레임워크를 제안하며, 일반화된 속도 측도—최대 엔트로피 정규화된 목적 함수—를 사용하여 제안 분포를 최적화함으로써 거부된 제안들조차도 고려하여 안정적인 적응을 가능하게 한다. 재구성 기법을 활용한 확률적 경사 하강 최적화를 통해, 이 방법은 고차원 및 꼬리가 두꺼운 타깃 분포에서 기존의 MCMC 및 해밀토니안 MCMC 방법보다 샘플링 효율성이 뛰어나다.

ABSTRACT

We introduce a gradient-based learning method to automatically adapt Markov chain Monte Carlo (MCMC) proposal distributions to intractable targets. We define a maximum entropy regularised objective function, referred to as generalised speed measure, which can be robustly optimised over the parameters of the proposal distribution by applying stochastic gradient optimisation. An advantage of our method compared to traditional adaptive MCMC methods is that the adaptation occurs even when candidate state values are rejected. This is a highly desirable property of any adaptation strategy because the adaptation starts in early iterations even if the initial proposal distribution is far from optimum. We apply the framework for learning multivariate random walk Metropolis and Metropolis-adjusted Langevin proposals with full covariance matrices, and provide empirical evidence that our method can outperform other MCMC algorithms, including Hamiltonian Monte Carlo schemes.

연구 동기 및 목표

• 거부된 상태를 忽시하고 초기 샘플의 상관관계에 의존하는 전통적 적응형 MCMC 방법의 느린 적응 문제를 해결한다.
• 초기 파rameter 값이 나쁠 경우에 민감한 게으른 적응 전략의 한계를 극복한다.
• 타깃 로그 밀도의 기울기 정보만을 사용하여 무작위 보행 및 랭그레지언 프로포저의 전체 공분산 행렬을 학습하는 확장 가능한 거리 기반 방법을 개발한다.
• 높은 수용률과 제안 분포의 다양성을 균형 잡는 일반화된 속도 측도를 최대화하여 샘플링 효율을 향상시킨다.
• 고차원 및 다중 척도 타깃 분포, 특히 베이지안 로지스틱 회귀 및 다변량 정규분포에서 더 빠른 수렴과 더 나은 믹싱을 달성한다.

제안 방법

• 제안 파rameter를 최적화하기 위해 일반화된 속도 측도를 엔트로피 정규화된 목적 함수로 정의하여, 높은 수용률과 제안의 다양성을 동시에 촉진한다.
• 재구성 기법을 사용한 확률적 경사 하강 최적화를 통해 MCMC 전이 커널을 통해 역전파하여 제안 파rameter를 갱신한다.
• 완전한 공분산 행렬을 Cholesky 분해를 통해 파arameter화한 다변량 무작위 보행 메트로폴리스(RWM) 및 메트로폴리스 조정 랭그레지언(MALA) 알고리즘에 이 방법을 적용한다.
• 수용된 상태뿐 아니라 거부된 후보자에 대한 타깃 로그 밀도의 기울기 정보도 활용하여, 체인의 이동이 없을 때에도 적응이 가능하도록 한다.
• 학습률 스케줄을 사용한 온라인 학습을 통해 샘플링 도중 지속적인 적응을 가능하게 한다.
• 메트로폴리스-하스팅스 수용 기법을 통해 세부 균형을 유지함으로써, 제안 분포를 적응시키는 동안에도 에르고딕성과 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 기각된 상태를 忽시하는 전통적 방법과는 달리, 거리 기반 적응형 MCMC 방법이 거부된 상태를 활용함으로써 더 빠르고 안정적인 적응을 달성할 수 있는가?
• RQ2 일반화된 속도 측도 목적 함수는 표준 적응형 MCMC 및 HMC 방법과 비교해 샘플링 효율을 어떻게 향상시키는가?
• RQ3 완전한 공분산 학습을 통한 거리 기반 적응은 다중 척도 타깃 분포에서 등방성 또는 대각선 제안과 비교해 얼마나 뛰어난 성능을 보이는가?
• RQ4 초기 제안 분포가 타깃 분포에서 멀리 떨어져 있을 경우에도 이 방법은 안정성과 수렴성을 유지하는가?
• RQ5 베이지안 로지스틱 회귀(87개 파rameter)와 같은 고차원 문제에 이 프레임워크를 효과적으로 확장할 수 있는가?

주요 결과

• 100차원 다변량 정규분포 타깃에서 gadMALAf 버전이 가장 높은 전체 효율 점수(Min ESS/s)를 기록하여, 20단계의 리프로그 스텝을 사용한 HMC를 포함한 모든 베이스라인을 압도했다.
• Caravan 데이터셋(87차원 베이지안 로지스틱 회귀)에서 gadMALAf가 초당 가장 높은 유효 샘플 크기(ESS)를 기록했으며, 높은 계산 비용으로 인해 ESS가 높은 NUTS조차도 이를 능가하지 못했다.
• 트레이스 플롯 분석 결과, 표준 적응형 메트로폴리스(AM) 대비 gadMALA 방법에서 상호상관성이 크게 감소한 것으로 나타나, 더 빠른 믹싱과 더 나은 탐색 능력을 보였다.
• gadMALAf에서 학습된 Cholesky 인자 L의 대각성분이 차원별로 최적 스케일(0.01에서 1.00)과 매우 유사하게 나타나, 타깃의 다중 척도적 구조에 정확히 적응한 것으로 확인되었다.
• 체인이 멈춰 있을 때도 기울기 정보를 거부된 후보자로부터 활용함으로써, 초기 반복 단계에서 더 빠른 적응이 가능했다.
• MNIST(785차원)에 대한 보조 결과는 고차원 환경에서 이 프레임워크의 확장성과 안정성을 확인시켰다.