[논문 리뷰] An adaptive independence sampler MCMC algorithm for infinite dimensional Bayesian inferences

Zhe Feng, Jinglai Li|arXiv (Cornell University)|2015. 08. 13.

Markov Chains and Monte Carlo Methods참고 문헌 42인용 수 4

한 줄 요약

이 논문은 메시 메쉬 조정에 따라 표준 방법이 점점 느려지는 무한차원 베이지안 추론을 위한 차원에 독립적인 수렴성을 갖는 가우시안 혼합 제안 분포를 사용하는 적응형 독립 샘플러 MCMC 알고리즘을 제안한다. 혼합 성분을 매개변수화하고 클러스터링을 통해 이들을 적응적으로 업데이트함으로써, 기울기 정보가 필요 없이 다중모드 사후분포에 대해 강건한 샘플링을 달성하며, 수치 예제에서 뛰어난 혼합성과 효율성을 보여준다.

ABSTRACT

Many scientific and engineering problems require to perform Bayesian inferences in function spaces, in which the unknowns are of infinite dimension. In such problems, many standard Markov Chain Monte Carlo (MCMC) algorithms become arbitrary slow under the mesh refinement, which is referred to as being dimension dependent. In this work we develop an independence sampler based MCMC method for the infinite dimensional Bayesian inferences. We represent the proposal distribution as a mixture of a finite number of specially parametrized Gaussian measures. We show that under the chosen parametrization, the resulting MCMC algorithm is dimension independent. We also design an efficient adaptive algorithm to adjust the parameter values of the mixtures from the previous samples. Finally we provide numerical examples to demonstrate the efficiency and robustness of the proposed method, even for problems with multimodal posterior distributions.

연구 동기 및 목표

• 메시 메쉬 조정에 따라 표준 방법이 무한차원 베이지안 추론에서 임의로 느려지는 상황에서 차원에 독립적인 MCMC 알고리즘을 개발하는 것.
• 우도 함수의 기울기 정보가 필요 없는 독립 샘플러를 설계하여 블랙박스 전진 모델에의 적용을 가능하게 하는 것.
• 기존 MCMC 방법이 어려운 다중모드 사후분포에 대한 샘플링 효율성을 향상시키는 것.
• 특정 제안 분포의 매개변수화를 통해 함수 공간에서 알고리즘이 잘 정의되도록 보장하는 것.

제안 방법

• 제안 분포는 분리 가능한 힐버트 공간 내 유한한 수의 매개변수화된 가우시안 측도의 혼합으로 모델링된다.
• 혼합 성분의 매개변수(평균 및 공분산)는 과거 샘플을 활용하는 클러스터링 기반 알고리즘을 통해 적응적으로 업데이트된다.
• 매개변수화는 알고리즘이 함수 공간에서 잘 정의되도록 보장하며, 차원 독립성을 보장한다.
• 적응은 매 500회 반복마다 수행되며, 초기 단계에서는 수렴을 가속화하기 위해 온도 조절(tempering)이 적용된다.
• 세부 균형 조건을 확보하고 타깃 분포의 정확한 샘플링을 보장하기 위해 메트로폴리스-해스팅스 보정이 사용된다.
• 각 적응 단계에서 최적의 혼합 매개변수를 추정하기 위해 K-means 클러스터링 절차가 사용된다.

실험 결과

연구 질문

• RQ1 무한차원 베이지안 추론에서 차원에 독립적인 수렴성을 갖는 독립 샘플러 MCMC 알고리즘을 구성할 수 있는가?
• RQ2 우도 함수의 기울기 또는 헤시안 정보가 없이도 제안 분포를 어떻게 적응적으로 업데이트할 수 있는가?
• RQ3 함수 공간에서 가우시안 혼합 제안이 다중모드 사후분포를 효과적으로 포착할 수 있는가?
• RQ4 단일 가우시안과 비교했을 때 가우시안 혼합의 사용이 샘플링 효율성과 수렴성에 어떤 영향을 미치는가?
• RQ5 복잡한 후행 분포의 내재된 차원을 어떻게 결정하거나 최적화할 수 있는가?

주요 결과

• 제안된 적응형 독립 샘플러는 메시 메쉬 조정에 따라 혼합 시간이 악화되지 않음으로써 차원에 독립적인 수렴성을 달성한다.
• 알고리즘은 다중모드 사후분포에서 뛰어난 성능을 보이며, 샘플의 K-means 클러스터링을 통해 여러 모드를 성공적으로 식별한다.
• 모든 테스트 문제에서, 혼합물에 기반한 적응형 IS의 수용률과 유효 샘플 크기(Ess)는 이전 기반 IS, 단일 가우시안 IS, RW-pCN보다 일관되게 높다.
• 열류 역문제에서, 혼합물에 기반한 적응형 IS는 두 개의 별개의 열류 모드를 정확히 식별했지만, 다른 방법들은 모드를 분리하지 못했다.
• 특히 고차원 및 비정규 분포 설정에서, 트레이스 플롯 수렴성, 자기상관성 감쇠성, 그리고 ESS 측면에서 표준 MCMC 기법보다 우수한 성능을 보였다.
• 기울기 정보가 명시적으로 필요 없이도 클러스터링을 통한 매개변수 적응이 복잡한 후행 분포의 구조를 효과적으로 근사할 수 있다.