[논문 리뷰] On the utility of Metropolis-Hastings with asymmetric acceptance ratio

Christophe Andrieu, Randal Douc외 2명|arXiv (Cornell University)|2018. 03. 26.

Markov Chains and Monte Carlo Methods참고 문헌 9인용 수 12

한 줄 요약

이 논문은 MHAAR(Metropolis-Hastings with Averaged Acceptance Ratio)라는 새로운 메트로폴리스-해스팅스 알고리즘을 제안하며, MCMC에서 수용 비율의 평균화된 불편추정기를 사용하면서도 세부 균형 조건과 渐近적 정확성을 유지할 수 있도록 한다. 대칭 보조 변수 기반의 방법을 도입함으로써 분산을 감소시키고 수렴 속도를 향상시켜, 특히 병렬 계산 환경에서 유리하다. 이는 이중으로 비가역적인 모형, 잠재변수 모형, 상태공간 모형에 적용된 바 있다.

ABSTRACT

The Metropolis-Hastings algorithm allows one to sample asymptotically from any probability distribution $π$. There has been recently much work devoted to the development of variants of the MH update which can handle scenarios where such an evaluation is impossible, and yet are guaranteed to sample from $π$ asymptotically. The most popular approach to have emerged is arguably the pseudo-marginal MH algorithm which substitutes an unbiased estimate of an unnormalised version of $π$ for $π$. Alternative pseudo-marginal algorithms relying instead on unbiased estimates of the MH acceptance ratio have also been proposed. These algorithms can have better properties than standard PM algorithms. Convergence properties of both classes of algorithms are known to depend on the variability of the estimators involved and reduced variability is guaranteed to decrease the asymptotic variance of ergodic averages and will shorten the burn-in period, or convergence to equilibrium, in most scenarios of interest. A simple approach to reduce variability, amenable to parallel computations, consists of averaging independent estimators. However, while averaging estimators of $π$ in a pseudo-marginal algorithm retains the guarantee of sampling from $π$ asymptotically, naive averaging of acceptance ratio estimates breaks detailed balance, leading to incorrect results. We propose an original methodology which allows for a correct implementation of this idea. We establish theoretical properties which parallel those available for standard PM algorithms and discussed above. We demonstrate the interest of the approach on various inference problems. In particular we show that convergence to equilibrium can be significantly shortened, therefore offering the possibility to reduce a user's waiting time in a generic fashion when a parallel computing architecture is available.

연구 동기 및 목표

• 이중 비가역적 우도나 정규화되지 않은 목표 분포가 존재하는 상황에서 MCMC의 분산을 줄이는 데 도전한다.
• 가짜 마진형 MCMC에서 수용 비율 추정기를 단순히 평균화할 경우 세부 균형 조건이 붕괴되는 문제를 해결한다.
• 수용 비율의 평균화된 비편향 추정기를 사용하면서도 불변 분포 π를 유지하는 일반적인 프레임워크를 개발한다.
• 추정기의 변동성을 평균화함으로써 MCMC에서 효율적인 병렬 계산을 가능하게 한다.
• 이중 비가역 분포, 잠재변수 모형, 상태공간 모형을 포함한 복잡한 모형으로 이 방법을 확장한다.

제안 방법

• 대칭 보조 변수 기반 메커니즘을 통해 수용 비율의 평균화된 추정기를 사용하는 메트로폴리스-해스팅스 알고리즘인 MHAAR를 제안한다.
• 두 가지 다른 제안 커널 Q₁과 Q₂를 각각 갖는 이중 단계 제안 메커니즘을 도입하며, 각각 수용 비율 추정기의 평균화된 버전과 연관시킨다.
• 보조 변수를 대칭적으로 다루는 공동 전이 커널을 구성함으로써 세부 균형을 보장하고, π를 불변 분포로 유지한다.
• 수용 비율의 비편향 추정기(예: AIS 또는 SMC를 통해)를 사용하고, N개의 독립된 표본을 평균화하여 분산을 감소시킨다.
• 단일 변수 모형과 잠재변수 모형에 이 방법을 적용하며, 이는 이형성 및 상태공간 모형으로의 확장도 포함된다.
• 고차원 또는 복잡한 모형에서 효율성을 높이기 위해 AIS 대신 SMC 또는 cSMC를 수용 비율 추정기로 사용할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 가짜 마진형 MCMC에서 수용 비율의 다수의 독립 추정기를 평균화할 경우 세부 균형과 渐近적 정확성이 유지되는가?
• RQ2 MCMC 수렴 보장을 고려할 때 수용 비율 추정기의 분산을 어떻게 줄일 수 있는가?
• RQ3 평균화된 수용 비율 추정기를 사용할 경우 혼합 시간과 평형 분포 수렴 속도에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 비가역 우도, 잠재변수, 또는 이형성 목표를 가진 모형으로 확장될 수 있는가?
• RQ5 실제로 MHAAR는 표준 가짜 마진형 또는 AIS 기반 알고리즘에 비해 효율성이 높은가?

주요 결과

• MHAAR는 수용 비율의 평균화된 추정기를 사용하는 동안에도 세부 균형을 유지하고 渐近적 정확성을 보장한다.
• 이론적으로 에르고딕 평균의 점근적 분산을 크게 감소시켜 평형 분포 수렴 속도를 빠르게 한다.
• 실증 결과에 따르면 평형 분포 수렴 시간이 단축되어 병렬 계산 환경에서 사용자 대기 시간이 줄어든다.
• 이 방법은 이중 비가역 모형, 잠재변수 모형, 상태공간 모형에 적용 가능하며 혼합 성능 향상이 입증되었다.
• AIS 대신 SMC 또는 cSMC를 수용 비율 추정기로 사용하는 것은 실현 가능하며 알고리즘의 타당성을 유지한다.
• 두 개의 비대칭 제안 메커니즘을 조합함으로써 비가역 MCMC를 가능하게 하여 더 효율적인 탐색 경로를 열어 놓는다.