[論文レビュー] Diffusion Limit For The Random Walk Metropolis Algorithm Out Of stationarity

Juan Kuntz, Michela Ottobre+1 more|arXiv (Cornell University)|May 19, 2014

Markov Chains and Monte Carlo Methods参考文献 13被引用数 6

ひとこと要約

本稿は、高次元における非i.i.d.なターゲット測度および非定常初期化のもとで、ランダムウォークメトロポリス（RWM）アルゴリズムの拡散極限と最適スケーリングを確立する。最適なプロポーズ分散のスケーリングが $O(N^{-1})$ であることを証明し、定常性や積型ターゲットの仮定なしに、不変測度を探索するコストが $O(N)$ となることを示す。これは、ベイズ非パラメトリック推論や条件付き拡散過程においてより現実的な設定に、先行研究を拡張したものである。

ABSTRACT

The Random Walk Metropolis (RWM) algorithm is a Metropolis- Hastings MCMC algorithm designed to sample from a given target distribution πwith Lebesgue density on R^N. RWM constructs a Markov chain by randomly proposing a new position (the "proposal move"), which is then accepted or rejected according to a rule which makes the chain reversible with respect to π. When the dimension N is large a key question is to determine the optimal scaling with N of the proposal variance: if the proposal variance is too large, the algorithm will reject the proposed moves too often; if it is too small, the algorithm will explore the state space too slowly. Determining the optimal scaling of the proposal variance gives a measure of the cost of the algorithm as well. One approach to tackle this issue, which we adopt here, is to derive diffusion limits for the algorithm. Such an approach has been proposed in the seminal papers [RGG97, RR98]; in particular in [RGG97] the authors derive a diffusion limit for the RWM algorithm under the two following assumptions: i) the algorithm is started in stationarity; ii) the target measure $π$ is in product form. The present paper considers the situation of practical interest in which both assumptions i) and ii) are removed. That is a) we study the case (which occurs in practice) in which the algorithm is started out of stationarity and b) we consider target measures which are in non-product form. The target measures that we consider arise in Bayesian nonparametric statistics and in the study of conditioned diffusions. We prove that, out of stationarity, the optimal scaling for the proposal variance is O(N), as it is in stationarity. Notice that the optimal scaling in and out of stationatity need not be the same in general, and indeed they differ e.g. in the case of the MALA algorithm [KOS16].

研究の動機と目的

• ターゲット測度が積型でない高次元設定において、RWMアルゴリズムの分析を行う。
• これらの現実的な条件下で、次元 $N$ に対するプロポーズ分散の最適スケーリングを特定する。
• 古典的結果を拡張し、非定常かつ非i.i.d.な状況におけるRWMアルゴリズムの拡散極限を確立する。
• 混合時間および探索効率の観点から、アルゴリズムの計算コストを定量化する。
• ベイズ非パラメトリック統計および無限次元モデルにおけるRWMの性能を理解するための厳密なフレームワークを提供する。

提案手法

• 無限次元ヒルベルト空間上でのガウス測度の摂動としてターゲット測度を定式化し、密度を $\frac{d\pi}{d\pi_0} \propto \exp(-\Psi)$ と表す。
• RWMアルゴリズムを対称的なランダムウォーク提案とメトロポリスの受理確率 $\alpha(x,y) = \min\left\{1, \frac{\pi(y)}{\pi(x)}\right\}$ を持つマルコフ連鎖としてモデル化する。
• 次元に依存するスケーリング $\sigma_N^2 = \frac{\ell^2}{N}$ を用いて、$N \to \infty$ の極限で拡散極限を導出する。
• 関数中心極限定理およびマルティンゲール中心極限定理の技法を用いて、拡散過程への収束を証明する。
• 重み付きモーメント推定と指数モーメント制御を用いて、正規化過程のモーメントバウンドと一様可積分性を確立する。
• ポテンシャル $\Psi$ および共分散作用素 $\mathcal{C}$ に対する仮定を活用し、極限ダイナミクスの正則性と可積分性を保証する。

実験結果

リサーチクエスチョン

• RQ1 RWMアルゴリズムのプロポーズ分散の最適スケーリングは、連鎖が非定常状態から開始された場合にどうなるか？
• RQ2 ターゲット測度が積型でない場合でも、RWMの拡散極限は成立するか？
• RQ3 非定常初期化のもとで、RWMアルゴリズムの計算コストは次元 $N$ に対してどのようにスケーリングされるか？
• RQ4 非i.i.d.なターゲット分布において、古典的な $O(N^{-1})$ のプロポーズ分散の最適スケーリングは保持されるか？
• RQ5 これらの結果は、ベイズ非パラメトリック推論および無限次元モデルにおけるMCMC手法にどのような意味を持つのか？

主な発見

• 連鎖が非定常状態から開始され、ターゲット測度が積型ではない場合でも、RWMアルゴリズムの最適なプロポーズ分散のスケーリングは $O(N^{-1})$ である。
• 非定常かつ非i.i.d.な設定において、RWMアルゴリズムの拡散極限が確立され、$O(N^{-1})$ スケーリングのもとで極限SDEへの収束が確認された。
• 不変測度に到達し、それを探索するコストは $O(N)$ にスケーリングされ、定常状態の場合と一致する。
• 結果は、トレースクラス共分散作用素を持つヒルベルト空間上でのガウス測度の摂動としてターゲット測度が得られるという仮定のもとで成り立つ。
• 証明は、重み付きモーメント推定と指数モーメント制御による正規化過程のモーメントバウンドおよび一様可積分性に依存する。
• 主な技術的貢献は、非定常性や積構造のない設定に古典的拡散極限フレームワークを拡張したことであり、これらは実用的ベイズ推論において一般的な状況である。