[논문 리뷰] Diffusion Limit For The Random Walk Metropolis Algorithm Out Of stationarity

Juan Kuntz, Michela Ottobre외 1명|arXiv (Cornell University)|2014. 05. 19.

Markov Chains and Monte Carlo Methods참고 문헌 13인용 수 6

한 줄 요약

이 논문은 고차원에서 정상성 외부에서 시작되며 i.i.d.가 아닌 대상 측도를 가진 랜덤 워크 메트로폴리스(RWM) 알고리즘의 확산 한계와 최적 스케일링을 설정한다. 논문은 최적의 제안 분산이 $O(N^{-1})$로 스케일링됨을 증명하며, 이는 정상성이나 곱형태의 대상 측도를 가정하지 않더라도 확산 한계와 불변 측도를 탐색하는 데 $O(N)$의 비용을 유도한다—이를 통해 이전 결과를 베이지안 비모수 추론 및 조건부 확산에 더 현실적인 설정으로 확장한다.

ABSTRACT

The Random Walk Metropolis (RWM) algorithm is a Metropolis- Hastings MCMC algorithm designed to sample from a given target distribution πwith Lebesgue density on R^N. RWM constructs a Markov chain by randomly proposing a new position (the "proposal move"), which is then accepted or rejected according to a rule which makes the chain reversible with respect to π. When the dimension N is large a key question is to determine the optimal scaling with N of the proposal variance: if the proposal variance is too large, the algorithm will reject the proposed moves too often; if it is too small, the algorithm will explore the state space too slowly. Determining the optimal scaling of the proposal variance gives a measure of the cost of the algorithm as well. One approach to tackle this issue, which we adopt here, is to derive diffusion limits for the algorithm. Such an approach has been proposed in the seminal papers [RGG97, RR98]; in particular in [RGG97] the authors derive a diffusion limit for the RWM algorithm under the two following assumptions: i) the algorithm is started in stationarity; ii) the target measure $π$ is in product form. The present paper considers the situation of practical interest in which both assumptions i) and ii) are removed. That is a) we study the case (which occurs in practice) in which the algorithm is started out of stationarity and b) we consider target measures which are in non-product form. The target measures that we consider arise in Bayesian nonparametric statistics and in the study of conditioned diffusions. We prove that, out of stationarity, the optimal scaling for the proposal variance is O(N), as it is in stationarity. Notice that the optimal scaling in and out of stationatity need not be the same in general, and indeed they differ e.g. in the case of the MALA algorithm [KOS16].

연구 동기 및 목표

• 대상 측도가 곱형태가 아니며 체인이 정상성 외부에서 시작되는 고차원 설정에서 RWM 알고리즘을 분석하기 위해.
• 이러한 현실적인 조건 하에서 차원 $N$에 대한 제안 분산의 최적 스케일링을 결정하기 위해.
• 고전적 결과를 확장하여 비정상성 및 비i.i.d. 케이스에서 RWM 알고리즘의 확산 한계를 확립하기 위해.
• 혼합 시간과 탐색 효율성 측면에서 알고리즘의 계산 비용을 정량화하기 위해.
• 베이지안 비모수 통계 및 무한차원 모델에서 RWM 성능을 이해하기 위한 엄밀한 프레임워크를 제공하기 위해.

제안 방법

• 무한차원 힐버트 공간 위에서 가우시안 측도의 변형으로서 대상 측도를 수식화하며, 밀도는 $\frac{d\pi}{d\pi_0} \propto \exp(-\Psi)$이다.
• RWM 알고리즘을 대칭적인 랜덤 워크 제안과 메트로폴리스 수락 확률 $\alpha(x,y) = \min\left\{1, \frac{\pi(y)}{\pi(x)}\right\}$을 갖는 마코프 체인으로 모델링한다.
• 차원에 따라 변하는 스케일링을 통해 제안 분산을 $\sigma_N^2 = \frac{\ell^2}{N}$로 설정하여 $N \to \infty$일 때 확산 한계를 도출한다.
• 기능 중심 중심극한정리 기법과 마틴게일 기능 중심 중심극한정리를 적용하여 확산 과정 수렴을 증명한다.
• 가중 모멘트 추정과 지수 모멘트 통제를 통해 정규화된 과정의 모멘트 유계성과 균일 적분 가능성을 확립한다.
• 잠재력 $\Psi$와 공분산 연산자 $\mathcal{C}$에 대한 가정을 활용하여 한계 역동성의 정규성과 적분 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 체인이 정상성 외부에서 시작될 경우 RWM 알고리즘의 제안 분산 최적 스케일링은 무엇인가?
• RQ2 대상 측도가 곱형태가 아닐 경우 RWM의 확산 한계가 유지되는가?
• RQ3 비정상 초기화 조건 하에서 RWM 알고리즘의 계산 비용은 차원 $N$에 따라 어떻게 스케일링되는가?
• RQ4 비i.i.i.d. 대상 분포에서 고전적 $O(N^{-1})$ 제안 분산 최적 스케일링이 유지되는가?
• RQ5 이러한 결과는 베이지안 비모수 추론 및 무한차원 모델에서 MCMC 방법에 어떤 영향을 미치는가?

주요 결과

• 체인이 정상성 외부에서 시작되고 대상 측도가 곱형태가 아니어도 RWM 알고리즘의 최적 제안 분산 스케일링은 $O(N^{-1})$이다.
• 비정상성 및 비i.i.d. 설정에서 RWM 알고리즘에 대한 확산 한계가 확립되었으며, $O(N^{-1})$ 스케일링 하에서 한계 SDE 수렴이 확인되었다.
• 불변 측도에 도달하고 탐색하는 데 드는 비용은 $O(N)$으로 스케일링되며, 정상성 경우와 동일하다.
• 이 결과는 흔적-유한 공분산 연산자를 갖는 힐버트 공간 위에서 가우시안 측도의 변형으로 유래된 대상 측도를 가정할 경우 성립한다.
• 증명은 가중 모멘트 추정과 지수 모멘트 통제를 통해 정규화된 과정의 모멘트 유계성과 균일 적분 가능성을 확보함에 기반한다.
• 핵심 기술적 기여는 정상성 또는 곱형태의 구조 없이도 고전적 확산 한계 프레임워크를 확장한 것으로, 실질적 베이지안 추론에서 흔한 설정이다.