[논문 리뷰] Adaptive Gibbs samplers

Krzysztof Łatuszyński, Jeffrey S. Rosenthal|arXiv (Cornell University)|2010. 01. 16.

Markov Chains and Monte Carlo Methods참고 문헌 41인용 수 5

한 줄 요약

이 논문은 혼합성과 수렴성을 향상시키기 위해 마르코프 체인 몬테카를로(MCMC) 시뮬레이션 중에 선택 확률과 제안 분포를 동적으로 조정하는 적응형 지브스 샘플러를 조사한다. 난이도 높은 적응 방식이 비에르고딕적 행동을 유도할 수 있음을 보여주는 반례를 제시하고, 적응형 무작위 스캔 지브스 샘플러(메트로폴리스-내지-지브스 단계가 있는지 여부에 관계없이)가 목표 분포로 수렴하고 여전히 에르고딕성을 유지하기 위한 충분조건을 설정한다.

ABSTRACT

We consider various versions of adaptive Gibbs and Metropolis within-Gibbs samplers, which update their selection probabilities (and perhaps also their proposal distributions) on the fly during a run, by learning as they go in an attempt to optimise the algorithm. We present a cautionary example of how even a simple-seeming adaptive Gibbs sampler may fail to converge. We then present various positive results guaranteeing convergence of adaptive Gibbs samplers under certain conditions.

연구 동기 및 목표

• 고차원 지브스 샘플러에서 최적의 좌표 선택 확률이 아니기 때문에 효율적이지 못한 혼합성 문제를 해결하기 위해.
• 실시간으로 선택 확률을 학습하고 업데이트하는 적응형 알고리즘이 목표 분포로 수렴할 수 있는지 조사하기 위해.
• 특히 에르고딕성에 관해 이전 이론적 주장에 존재하는 결함을 규명하고 수정하기 위해.
• 적응형 무작위 스캔 지브스 및 메트로폴리스-내지-지브스 샘플러가 여전히 에르고딕성을 유지하기 위한 엄밀한 조건을 설정하기 위해.

제안 방법

• 과거 시뮬레이션 결과를 기반으로 좌표 선택 확률을 업데이트하는 적응형 무작위 스캔 지브스 샘플러(AdapRSG)를 제안한다.
• 선택 확률과 제안 분포를 모두 적응시키는 적응형 무작위 스캔 메트로폴리스-내지-지브스 샘플러(AdapRSMwG)를 도입한다.
• 선택 가중치와 제안 분포를 함께 적응시키는 적응형 무작위 스캔 적응형 메트로폴리스-내지-지브스 샘플러(AdapRSadapMwG)를 분석하며, 실생활 통계 유전학 응용을 모델링한다.
• 스토크라스틱 커플링과 스토크라스틱 순서 기법을 사용하여 적응 체인과 기준 생애-죽음 과정을 비교함으로써 스토크라스틱 지배성과 에르고딕성을 확립한다.
• 반례(예제 3.1)를 사용하여, 심지어 잘 설계된 것처럼 보이는 적응형 지브스 샘플러라도 수렴하지 못할 수 있음을 보여주며, [24]의 이전 결과를 무효화한다.
• 레마 8.4를 적용하여 적응 체인과 기준 과정을 반복적으로 커플링함으로써, 적응이 통제되어 있지 않다면 적응 체인이 일시적인 과정을 스토크라스틱 지배하지 못함을 증명한다.

실험 결과

연구 질문

• RQ1 시뮬레이션 중에 선택 확률을 업데이트하는 적응형 지브스 샘플러가 여전히 올바른 목표 분포로 수렴할 수 있는가?
• RQ2 적응형 무작위 스캔 지브스 샘플러의 에르고딕성을 보장하기 위해 필요한 필수 조건은 무엇인가?
• RQ3 왜 간단한 적응 방식은 지브스 샘플러에서 비에르고딕적 행동을 유도할 수 있으며, 이러한 실패는 어떻게 공식적으로 진단할 수 있는가?
• RQ4 메트로폴리스-내지-지브스 샘플러에서 적응형 선택 확률과 제안 분포는 어떻게 상호작용하며, 어떤 조건에서 에르고딕성이 유지되는가?

주요 결과

• 유감스럽게도 타당한 적응 규칙을 가진 적응형 지브스 샘플러가 수렴하지 못하는 반례를 구성함으로써, 단순한 적응 방식이라도 에르고딕성이 보장되지 않음을 입증한다.
• 논문은 약한 조건(감소하는 적응과 적절한 탐색) 하에서 적응형 무작위 스캔 지브스 샘플러(AdapRSG)가 에르고딕성을 가짐을 증명한다.
• 감소하는 적응 조건을 만족하고 제안 분포가 적절히 조정된 경우, 적응형 무작위 스캔 메트로폴리스-내지-지브스 샘플러(AdapRSMwG)가 에르고딕성을 가짐을 보여준다.
• 감소하는 적응 조건과 유한한 제안 분산을 포함하는 조건 하에서, 적응형 무작위 스캔 적응형 메트로폴리스-내지-지브스 샘플러(AdapRSadapMwG)가 에르고딕성을 가짐을 증명한다.
• 반례를 통해 [24]의 이전 결과가 잘못되었음을 공식적으로 입증하며, 그들의 주요 정리가 잘못되었음을 보여준다.
• 커플링을 통한 스토크라스틱 지배성 분석이 비마르코프 체인일지라도 적응형 MCMC 샘플러의 에르고딕성을 증명하는 데 사용될 수 있음을 확인한다.