[논문 리뷰] Efficient Bayesian Sampling Using Normalizing Flows to Assist Markov Chain Monte Carlo Methods

Marylou Gabrié, Grant M. Rotskoff외 1명|arXiv (Cornell University)|2021. 07. 16.

Markov Chains and Monte Carlo Methods인용 수 5

한 줄 요약

이 논문은 직접 KL 발산을 사용하여 MCMC 샘플러가 생성한 데이터에 대해 훈련된 정규화 흐름을 사용하여 마르코프 체인 몬테카를로(MCMC) 샘플링을 가속화하는 새로운 방법을 제안한다. 이 방법은 다모드 사후 분포에서 혼합을 향상시키고 베이지안 증거의 정확한 추정을 가능하게 하여 복잡한 고차원 예제에서 표준 MCMC와 변분 추론보다 뛰어난 성능을 발휘한다.

ABSTRACT

Normalizing flows can generate complex target distributions and thus show promise in many applications in Bayesian statistics as an alternative or complement to MCMC for sampling posteriors. Since no data set from the target posterior distribution is available beforehand, the flow is typically trained using the reverse Kullback-Leibler (KL) divergence that only requires samples from a base distribution. This strategy may perform poorly when the posterior is complicated and hard to sample with an untrained normalizing flow. Here we explore a distinct training strategy, using the direct KL divergence as loss, in which samples from the posterior are generated by (i) assisting a local MCMC algorithm on the posterior with a normalizing flow to accelerate its mixing rate and (ii) using the data generated this way to train the flow. The method only requires a limited amount of \ extit{a~priori} input about the posterior, and can be used to estimate the evidence required for model validation, as we illustrate on examples.

연구 동기 및 목표

• 다모드 사후 분포를 샘플링할 때 MCMC의 느린 혼합 문제를 해결한다.
• 사후 분포가 기본 분포에서 멀리 떨어져 있을 때 정규화 흐름의 역방향 KL 훈련의 한계를 극복한다.
• 모델 비교 및 검증에 핵심적인 역할을 하는 베이지안 증거 $ Z_* $의 정확한 추정을 가능하게 한다.
• MCMC가 생성한 데이터를 활용하여 정규화 흐름을 훈련함으로써 혼합을 향상시키는 하이브리드 샘플링-최적화 프레임워크를 개발한다.
• 사후 분포의 구조에 대한 사전 지식이 거의 필요 없는 실용적이고 데이터 기반의 방법을 제공한다.

제안 방법

• 지역 MCMC 알고리즘(예: 조정되지 않은 랑주 방정식)을 사용하여 사후 샘플을 생성하고, 혼합을 향상시키기 위해 정규화 흐름을 보조로 활용한다.
• 진짜 사후 분포와 흐름의 프로젝션 분포 사이의 직접 쿨백-라이블러(KL) 발산을 사용하여 흐름을 훈련한다.
• 사전 지식에 의존하지 않고 MCMC가 생성한 샘플을 훈련 데이터로 활용한다.
• 복잡한 비정규 사후 밀도를 모델링하기 위해 가역적이고 순차적인 흐름 아키텍처를 사용한다.
• 훈련된 흐름을 사용하여 MCMC에서 새로운 상태를 제안함으로써 높은 수용률(예: 고차원 혼합에서 약 80%)을 달성한다.
• 최종 흐름과 MCMC 샘플을 사용하여 식 (5)에 따라 베이지안 증거 $ Z_* $를 추정함으로써 모델 검증을 가능하게 한다.

실험 결과

연구 질문

• RQ1 직접 KL 발산을 통해 훈련된 정규화 흐름이 다모드 사후 분포에서 MCMC 혼합을 향상시킬 수 있는가?
• RQ2 MCMC가 생성한 데이터로 훈련된 흐름이 사전 샘플을 사용한 역방향 KL 훈련보다 더 나은 사후 근사치를 제공하는가?
• RQ3 이 하이브리드 방법은 추가적인 고비용 기법 없이도 베이지안 증거 $ Z_* $를 정확하게 추정할 수 있는가?
• RQ4 표준 MCMC 또는 변분 추론과 비교하여 이 방법은 고차원이고 복잡한 사후 분포에서 어떻게 성능을 발휘하는가?
• RQ5 초기화 및 사전 지식이 이 방법이 모든 사후 모드를 탐색하는 데 미치는 영향은 무엇인가?

주요 결과

• 10차원 가우시안 혼합 모델에서 흐름 기반 제안에서 약 80%의 수용률을 달성하여 매우 효율적인 탐색이 가능했다.
• 혼합 모델의 두 모드 간 상대적 통계적 가중치는 작은 통계적 오차로 추정되었으며 정확한 값으로 수렴했다.
• 외계행성의 반직경 속도 모델에서 이 방법은 저자들이 최대우도 단계에서 $ K $와 $ v_0 $에 대해 최적화하는 바람에 놓친 주요 사후 모드도 성공적으로 샘플링했다.
• 최종 MCMC 수용률은 흐름 기반 제안을 사용하여 약 60%에 도달하여 표준 MCMC보다 혼합이 크게 향상되었다.
• 최종 흐름과 MCMC 샘플을 사용하여 베이지안 증거 $ Z_* $가 정확하게 추정되었으며, 이는 모델 검증을 가능하게 했다.
• 이 방법은 사후 분포의 구조에 대한 제한된 사전 지식만 필요로 하였고, 서로 다른 모드에서 초기화된 체인들이 성공적으로 서로 혼합되었다.