[논문 리뷰] Local-Global MCMC kernels: the best of both worlds

Sergey Samsonov, Evgeny Lagutin외 4명|arXiv (Cornell University)|2021. 11. 04.

Markov Chains and Monte Carlo Methods인용 수 4

한 줄 요약

이 논문은 고차원 및 무거운 尾 분포에서 더 빠른 혼합과 더 나은 탐색을 달성하기 위해 국소적(예: MALA, HMC) 및 전역적(i-SIR) 샘플러를 결합한 하이브리드 마르코프 체인 몬테카를로 방법인 Ex²MCMC를 제안한다. 전역 제안의 균일한 적응이 필요 없이도 V-균일 기하적 Ergodicity를 증명하였으며, 샘플링 중에 훈련되는 정규화 흐름을 사용하는 적응형 버전인 FlEx²MCMC를 도입하여, GAN 기반 에너지 모델에서 뛰어난 성능을 보였다.

ABSTRACT

Recent works leveraging learning to enhance sampling have shown promising results, in particular by designing effective non-local moves and global proposals. However, learning accuracy is inevitably limited in regions where little data is available such as in the tails of distributions as well as in high-dimensional problems. In the present paper we study an Explore-Exploit Markov chain Monte Carlo strategy ($Ex^2MCMC$) that combines local and global samplers showing that it enjoys the advantages of both approaches. We prove $V$-uniform geometric ergodicity of $Ex^2MCMC$ without requiring a uniform adaptation of the global sampler to the target distribution. We also compute explicit bounds on the mixing rate of the Explore-Exploit strategy under realistic conditions. Moreover, we also analyze an adaptive version of the strategy ($FlEx^2MCMC$) where a normalizing flow is trained while sampling to serve as a proposal for global moves. We illustrate the efficiency of $Ex^2MCMC$ and its adaptive version on classical sampling benchmarks as well as in sampling high-dimensional distributions defined by Generative Adversarial Networks seen as Energy Based Models. We provide the code to reproduce the experiments at the link: https://github.com/svsamsonov/ex2mcmc_new.

연구 동기 및 목표

• 고차원 및 중량 꼬리 분포에서 MCMC의 느린 혼합과 열악한 탐색 문제를 해결하기 위해.
• 국소 및 전역 MCMC 커널을 결합하여 각각의 강점을 활용하기 위해: 국소적 방법은 꼬리 영역에서 정확한 샘플링을, 전역적 방법은 빠른 탐색을 위해.
• 전역 제안의 균일한 적응이 필요 없이도 하이브리드 전략의 수렴성과 혼합 속도에 대한 이론적 보장을 제공하기 위해.
• 샘플링 중에 실시간으로 훈련되는 정규화 흐름을 사용하여 전역 제안을 개선하는 적응형 버전인 FlEx²MCMC를 개발하고 평가하기 위해.
• 특히 GAN을 에너지 기반 모델로 사용하는 어려운 벤치마크에서 방법의 효과성을 입증하기 위해.

제안 방법

• 국소 MCMC 커널(예: MALA, HMC)과 독립적이고 병렬적인 제안을 제공하는 전역 i-SIR 커널을 번갈아 사용하는 마르코프 체인인 Ex²MCMC를 도입한다.
• 각 반복에서 다수의 전역 제안을 생성함으로써 i-SIR 커널을 사용해 병렬성과 탐색 효율성을 향상시킨다.
• 고차원 또는 중량 꼬리 영역에서 기각률을 줄이고 샘플을 개선하기 위해, 예를 들어 3단계의 MALA 재생 커널을 사용한다.
• 샘플링 중에 실시간으로 훈련되는 정규화 흐름을 사용해 전역 제안 분포를 개선하는 적응형 변종인 FlEx²MCMC를 제안한다.
• 전역 제안이 균일하게 잘 적응되어 있지 않더라도, 약한 조건 하에서 V-균일 기하적 Ergodicity를 통해 이론적 수렴성을 확립한다.
• 반복적 중요도 재표본 추출을 사용해 제안 품질을 유지하고 고차원 공간에서의 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 국소 및 전역 MCMC 커널을 융합함으로써 고차원 및 중량 꼬리 분포에서 혼합 시간과 탐색 성능을 크게 향상시킬 수 있는가?
• RQ2 전역 제안의 균일한 적응이 필요 없이도 하이브리드 Ex²MCMC 전략이 V-균일 기하적 Ergodicity를 달성할 수 있는 조건는 무엇인가?
• RQ3 복잡한 에너지 기반 모델(예: GAN)에서 Ex²MCMC는 순수 국소 또는 순수 전역 MCMC 방법보다 성능이 뛰어나게 되는가?
• RQ4 샘플링 중에 정규화 흐름을 훈련하는 적응 전략인 FlEx²MCMC는 제안 품질과 샘플링 효율성을 향상시킬 수 있는가?
• RQ5 학습된 GAN에서 샘플링할 때 하이브리드 전략의 경험적 영향은 FID 및 Inception Score와 같은 지표에 어떻게 나타나는가?

주요 결과

• 전역 i-SIR 커널만을 사용할 경우보다 훨씬 더 약한 조건 하에서도 Ex²MCMC는 V-균일 기하적 Ergodicity를 달성하여, 전역 제안의 균일한 적응이 없더라도 강건한 수렴성을 확보한다.
• MALA나 i-SIR만을 사용할 경우보다 더 빠른 혼합과 더 나은 탐색 성능을 보이며, SN-GAN 및 DC-GAN 실험에서 모드 간 이동과 낮은 밀도 영역에서의 정확한 샘플링을 모두 보여준다.
• FlEx²MCMC는 DC-GAN에서 10,000개의 경로 동안 더 낮은 에너지 값과 향상된 FID 및 Inception Score 지표를 달성하여 더 높은 품질의 샘플 생성을 가능하게 한다.
• DC-GAN 및 SN-GAN 벤치마크에서, Ex²MCMC와 FlEx²MCMC는 i-SIR나 MALA보다 평균 에너지 값이 낮아, 목표 분포의 더 나은 커버리지와 더 높은 샘플링 효율성을 나타낸다.
• FlEx²MCMC에서 정규화 흐름의 적응적 훈련은 점차 향상된 전역 제안을 이끌어내어 기각률을 감소시키고 수렴 속도를 향상시킨다.
• 경험적 결과는 국소 재생 단계가 전역 제안이 완벽하지 않더라도 국소 모드에 갇힐 위험을 크게 줄임을 보여준다.