[논문 리뷰] Adaptation of the Independent Metropolis-Hastings Sampler with Normalizing Flow Proposals

James A. Brofos, Marylou Gabrié외 2명|arXiv (Cornell University)|2021. 10. 25.

Markov Chains and Monte Carlo Methods인용 수 5

한 줄 요약

이 논문은 표준화 흐름을 제안 분포로 사용하고, 샘플링 중에 확률적 경사 하강법을 통해 그 매개수를 갱신하는 적응형 독립 메트로폴리스-해스팅스 샘플러를 제안한다. 이 방법은 약한 조건 하에서도 목표 분포로의 수렴을 보장하며, 다중모달 구조를 가진 1D $φ^4$ 양자장 이론 모델을 포함한 복잡한 목표 분포에서 뛰어난 혼합성과 샘플링 효율성을 보여준다.

ABSTRACT

Markov Chain Monte Carlo (MCMC) methods are a powerful tool for computation with complex probability distributions. However the performance of such methods is critically dependant on properly tuned parameters, most of which are difficult if not impossible to know a priori for a given target distribution. Adaptive MCMC methods aim to address this by allowing the parameters to be updated during sampling based on previous samples from the chain at the expense of requiring a new theoretical analysis to ensure convergence. In this work we extend the convergence theory of adaptive MCMC methods to a new class of methods built on a powerful class of parametric density estimators known as normalizing flows. In particular, we consider an independent Metropolis-Hastings sampler where the proposal distribution is represented by a normalizing flow whose parameters are updated using stochastic gradient descent. We explore the practical performance of this procedure on both synthetic settings and in the analysis of a physical field system and compare it against both adaptive and non-adaptive MCMC methods.

연구 동기 및 목표

• 샘플링 중에 지속적으로 표준화 흐름 매개수를 갱신하는 이론적으로 타당한 적응형 MCMC 방법을 개발하기.
• 표준화 흐름 제안 분포를 포함한 적응형 MCMC의 수렴 이론을 확장하여, 약한 조건 하에서도 기하적 에르고딕성을 보장하기.
• 통계적 장 이론에서 발생하는 것과 같은 고차원 및 다중모달 분포에서의 샘플링 효율을 향상시키기.
• 경사 기반 적응을 통해 제안 분포를 현장에서 학습하여 MCMC의 매개수 튜닝 문제를 해결하기.
• 합성 목표 분포와 물리적 장 시스템에서의 방법 검증을 통해 더 빠른 혼합성과 정확한 통계 추정을 보여주기.

제안 방법

• 이 방법은 제안 분포가 단계 $n$ 에서 매개수 $\theta_n$ 로 파arameter화된 표준화 흐름인 독립 메트로폴리스-해스팅스 샘플러를 사용한다.
• 매개수 $\theta_n$ 은 목표 분포와 제안 분포 간의 로그 밀도 비율 기반으로 확률적 경사 하강법을 사용하여 갱신된다.
• 적응 규칙은 확률 $1 - \alpha_{n-1}$ 에서 $\theta_n = \theta_{n-1} - \epsilon \nabla_\theta \log \frac{\tilde{\pi}_{\theta_{n-1}}(\tilde{X})}{\pi(\tilde{X})}$ 로 정의되며, 그렇지 않으면 $\theta_{n-1}$ 을 유지한다.
• 현재 흐름에서 수락된 샘플을 사용하여 제안 분포를 갱신함으로써, 가짜 우도 기반의 적응 전략을 구현한다.
• 균일한 에르고딕성을 보장하고 제안 분포의 붕괴를 방지하기 위해 이론적 분석에서 혼합 분포를 사용한다.
• 메트릭 공간에서 전이 핵심의 연속성과 마코프 체인의 가족에 대한 균일한 에르고딕성을 통해 이론적 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 독립 메트로폴리스-해스팅스 샘플러에서 표준화 흐름 매개수의 지속적 적응이 목표 분포로의 수렴을 유지하는 조건은 무엇인가?
• RQ2 표준화 흐름 제안 분포에 대한 확률적 경사 적응이 적응형 MCMC에서 기하적 에르고딕성을 이끌 수 있는가?
• RQ3 다중모달 및 고차원 목표 분포에서, 적응형 표준화 흐름 MCMC의 성능은 비적응형 및 기존 MCMC 방법보다 어떻게 비교되는가?
• RQ4 상전이와 강한 에너지 장벽을 가진 $\phi^4$ 양자장 이론 모델에서 이 방법은 효율적으로 샘플링할 수 있는가?
• RQ5 가짜 우도 목적함수는 샘플링 중 적응의 안정성과 가속화에 어떤 역할을 하는가?

주요 결과

• 표준화 흐름과 목표 밀도에 대한 약한 정규성 조건 하에서, 표준화 흐름 제안 분포를 사용하는 적응형 MCMC 방법은 기하적 에르고딕성을 확보한다.
• 시작 상태가 한 모드에서 균일 분포일지라도, $\phi^4$ 장 모델에서 50/50 모드 가중치를 성공적으로 복원한다.
• 표준 랑주반 샘플러가 합리적인 시간 내에 혼합에 실패하는 것과는 달리, 적응형 제안 분포 학습 덕분에 두 모드 사이에서 효과적으로 혼합된다.
• 샘플링 전반에 걸쳐 수용률이 높게 유지되며, 이는 흐름이 목표 분포에 효과적으로 적응하고 있음을 시사한다.
• 배치 기반 경사 하강 업데이트를 사용하는 가짜 우도 목적함수의 도입으로, 시간이 지남에 따라 안정적이고 효율적인 매개수 적응이 가능해졌다.
• 이론적 프레임워크는 결정적 및 확률적 적응 기법을 모두 수용할 수 있어, 실제 MCMC 워크플로우에의 적용 가능성을 넓혔다.