[논문 리뷰] Moving Target Monte Carlo

Haoyun Ying, Keheng Mao외 1명|arXiv (Cornell University)|2020. 03. 10.

Markov Chains and Monte Carlo Methods참고 문헌 12인용 수 6

한 줄 요약

이 논문은 비마르코프 샘플링 알고리즘인 Moving Target Monte Carlo(MTMC)을 소개한다. MTMC는 진정한 사후분포의 평가 비용을 줄이기 위해 반복적으로 사후분포의 근사치를 업데이트한다. 수용 결정에만 근사치를 사용하고, 수용이 이루어질 때만 이를 갱신함으로써 MTMC는 비용이 많이 드는 평가를 최소화하면서도 진정한 사후분포로의 수렴을 보장하며, 온건한 조건 하에 수렴성과 수렴 속도 추정에 대한 이론적 보장을 제공한다.

ABSTRACT

The Markov Chain Monte Carlo (MCMC) methods are popular when considering sampling from a high-dimensional random variable $\mathbf{x}$ with possibly unnormalised probability density $p$ and observed data $\mathbf{d}$. However, MCMC requires evaluating the posterior distribution $p(\mathbf{x}|\mathbf{d})$ of the proposed candidate $\mathbf{x}$ at each iteration when constructing the acceptance rate. This is costly when such evaluations are intractable. In this paper, we introduce a new non-Markovian sampling algorithm called Moving Target Monte Carlo (MTMC). The acceptance rate at $n$-th iteration is constructed using an iteratively updated approximation of the posterior distribution $a_n(\mathbf{x})$ instead of $p(\mathbf{x}|\mathbf{d})$. The true value of the posterior $p(\mathbf{x}|\mathbf{d})$ is only calculated if the candidate $\mathbf{x}$ is accepted. The approximation $a_n$ utilises these evaluations and converges to $p$ as $n ightarrow \infty$. A proof of convergence and estimation of convergence rate in different situations are given.

연구 동기 및 목표

• 고차원 베이지안 추론에서 정규화되지 않은 사후분포 평가의 높은 계산 비용을 해결하기 위해.
• 수용 결정을 위해 진전되는 사후분포의 근사치를 사용함으로써 MCMC에서 낭비되는 평가를 줄이기 위해.
• 역사적 샘플에 의존함에도 불구하고 수렴성을 유지하는 비마르코프 샘플링 방법을 개발하기 위해.
• 제안된 알고리즘에 대한 이론적 수렴 보장과 수렴 속도 추정을 제공하기 위해.
• 목표 분포에 대한 사전 지식이 필요 없이도, 균일한 근사치에서 시작할 수 있음을 보여주기 위해.

제안 방법

• MTMC는 각 반복 단계 $ n $ 에서 사후분포 $ p(\mathbf{x}|\mathbf{d}) $ 의 반복 갱신되는 근사치 $ a_n $ 를 사용하여 수용률을 계산한다.
• 진정한 사후분포 $ p(\mathbf{x}|\mathbf{d}) $ 는 후보 $ \mathbf{x} $ 가 수용될 경우에만 평가되며, 이로 인해 비용이 많이 드는 평가를 최소화한다.
• 수용된 샘플을 사용하여 근사치 $ a_n $ 를 갱신함으로써 $ n \to \infty $ 일 때 진정한 사후분포로 수렴함을 보장한다.
• 수렴은 커플링 추론을 사용하여 증명되며, 비마르코프 체인의 특성을 다룰 수 있도록 적응형 MCMC의 기법을 응용한다.
• 독립적 제안의 경우, 수렴 속도는 고유값 분석을 통해 추정되고, 일반적인 경우는 커플링 추론을 통해 추정된다.
• 유연한 근사치 기법을 허용하며, 예를 들어 최근접 이웃 또는 보간 기반 갱신을 포함하지만, 목표 분포에 대한 사전 지식이 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 역사적 샘플에 의존하는 비마르코프 샘플링 방법을 설계하여 사후분포 평가를 줄일 수 있을까?
• RQ2 목표 분포에 대한 사전 지식 없이도, 수용 효율을 향상시키기 위해 사후분포의 근사치를 적응적으로 갱신할 수 있는가?
• RQ3 역사적 샘플에 기반한 시간에 따라 변화하는 수용 기준을 사용하는 알고리즘의 수렴을 보장하는 이론적 조건은 무엇인가?
• RQ4 이러한 적응형 알고리즘의 수렴 속도를 정량적으로 바운딩할 수 있는가?
• RQ5 사후분포가 비가역적이거나 평가에 비용이 많이 드는 설정에 이 방법을 적용할 수 있는가?

주요 결과

• MTMC 알고리즘은 비록 역사적 샘플에 의존하여 비마르코프 체인이지만, 온건한 조건 하에 진정한 사후분포로 수렴한다.
• 수렴은 커플링 추론을 통해 증명되며, 샘플링 분포와 목표 분포 사이의 거리가 시간이 지남에 따라 감소함을 보장한다.
• 독립적 제안의 경우, 수렴 속도는 $ \|P_m^N - a_m(\cdot)\| \leq (1 - \epsilon)^{\lceil N/N_0 \rceil} $ 로 바운딩되며, 여기서 $ \epsilon $ 는 미니멀라이제이션 상수이다.
• 근사치가 고정되어 있을 경우, 수렴 속도는 도이블린 조건과 최소 제안 밀도 비율에 의해 결정되며, 연속성과 컴acts성 가정 하에 명시적인 바운드를 도출할 수 있다.
• 초기 근사치의 선택에 대해 강건하다. 심지어 균일 분포를 사용할 수 있으며, Theorem 4.6의 두 조건이 충족되면 수렴이 보장된다.
• 이 프레임워크는 적응형 근사 전략을 허용하며, 지역적 행동에 따라 서로 다른 보간 또는 회귀 방법 간 전환도 가능하며, 이론적 보장을 잃지 않는다.