[논문 리뷰] Noisy Monte Carlo: Convergence of Markov chains with approximate transition kernels

Pierre Alquier, Nial Friel외 2명|arXiv (Cornell University)|2014. 03. 21.

Markov Chains and Monte Carlo Methods참고 문헌 3인용 수 4

한 줄 요약

이 논문은 정확한 전이 핵함수를 계산적으로 비가능한 경우에 MCMC 알고리즘의 수렴성을 분석하기 위한 이론적 프레임워크를 제안하며, 이상적인 체인과 노이즈가 있는 체인 사이의 총 변동 거리에 대한 경계를 수립한다. 마르코프 체인의 안정성 이론을 활용하여, 균일 또는 기하학적 에르고딕성 조건 하에서 노이즈가 있는 체인이 목표 분포로 수렴하며 정량화 가능한 오차를 가짐을 보이며, 공간 통계 및 네트워크 분석(예: ERGM 포함)의 응용을 통해 검증된다.

ABSTRACT

Monte Carlo algorithms often aim to draw from a distribution $π$ by simulating a Markov chain with transition kernel $P$ such that $π$ is invariant under $P$. However, there are many situations for which it is impractical or impossible to draw from the transition kernel $P$. For instance, this is the case with massive datasets, where is it prohibitively expensive to calculate the likelihood and is also the case for intractable likelihood models arising from, for example, Gibbs random fields, such as those found in spatial statistics and network analysis. A natural approach in these cases is to replace $P$ by an approximation $\hat{P}$. Using theory from the stability of Markov chains we explore a variety of situations where it is possible to quantify how 'close' the chain given by the transition kernel $\hat{P}$ is to the chain given by $P$. We apply these results to several examples from spatial statistics and network analysis.

연구 동기 및 목표

• 정확한 전이 핵함수의 계산이 비가능한 경우에 MCMC에서 불가측 우도 문제에 대응하기 위해.
• 전이 핵함수가 근사화된 경우에 적용 가능한 노이즈가 있는 MCMC 알고리즘의 이론적 기초를 마련하기 위해.
• 노이즈가 있는 체인의 불변 분포와 진짜 목표 분포 사이의 거리를 정량화하기 위해.
• 균일 에르고딕성 체인을 초월해 기하학적 에르고딕성 경우로 수렴 결과를 확장하기 위해.
• 실제 문제인 공간 통계 및 네트워크 분석(예: 지수형 무작위 그래프 모델(ERGMs))에 프레임워크를 검증하기 위해.

제안 방법

• 마르코프 체인의 미트로파노프 안정성 이론을 사용하여 이상적인 체인과 노이즈가 있는 체인 사이의 총 변동 거리를 경계한다.
• 교환 알고리즘과 이산화 랑주뱅 몽테카를로의 노이즈 버전에 이 이론을 적용한다.
• 반복 횟수 N에 따른 수렴 속도를 유도하며, 거리가 N이 증가함에 따라 감소함을 보인다.
• 특히 우도가 불가측한 모델에서 정확한 값 대신 근사 우도 평가를 사용한다.
• MALA 및 노이즈가 있는 MALA 알고리즘의 공분산 행렬을 校정하기 위해 피LOT 런을 활용한다.
• 후행 평균, 표준편차, 밀도도, 자기상관 함수를 사용하여 알고리즘 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 정확한 전이 핵함수를 사용하지 않을 경우 MCMC 알고리즘의 수렴을 이론적으로 어떻게 정량화할 수 있는가?
• RQ2 노이즈가 있는 체인의 불변 분포와 진짜 목표 분포 사이의 총 변동 거리는 무엇인가?
• RQ3 노이즈가 있는 MCMC 체인이 여전히 정확한 목표 분포로 수렴하는 조건은 무엇인가?
• RQ4 랜덤화 단계 수 N이 노이즈가 있는 체인의 정확도에 어떤 영향을 미치는가?
• RQ5 ERGM과 같은 우도가 불가측한 모델에 대해 이론적 경계가 실질적으로 검증될 수 있는가?

주요 결과

• 이상적인 체인과 노이즈가 있는 체인 사이의 총 변동 거리는 반복 횟수 N이 증가함에 따라 감소하며, 이는 정량화 가능한 수렴 보장을 제공한다.
• 노이즈가 있는 교환 알고리즘이 혼합 성능과 자기상관 감소 측면에서 표준 교환 알고리즘보다 뛰어나다.
• 노이즈가 있는 MALA 교환 알고리즘이 MALA 교환 및 노이즈가 있는 랑주뱅보다 더 나은 후행 평균과 표준편차 추정치를 얻는다.
• 노이즈가 있는 랑주뱅 알고리즘은 매개변수 표준편차를 과소평가하며, 모드를 정확히 추정하지 못한다.
• 분자 네트워크 예시에서 노이즈가 있는 MALA 교환 알고리즘이 BERGM에서의 기준값에 가장 가까운 후행 추정치를 제공하였으며, 자기상관은 낮고 밀도 복원 성능도 뛰어나다.
• 이론적 경계는 균일 에르고딕성과 기하학적 에르고딕성 조건 모두에서 성립하여, 엄격한 가정을 초월한 적용 가능성을 넓힌다.