[論文レビュー] Coupled MCMC with a randomized acceptance probability

Geoff K. Nicholls, Colin Fox+1 more|arXiv (Cornell University)|May 30, 2012

Markov Chains and Monte Carlo Methods参考文献 18被引用数 33

ひとこと要約

本稿では、モンテカルロによる推定を用いて対数尤度比を推定する、確率的受理確率を有するメトロポリス・ハスティングスMCMCアルゴリズムのクラスを導入する。弱い条件下で、近似チェインが正確なチェインと結合可能であることを証明しており、補正項が扱いにくい状況下でも、漸近的にゼロの近似バイアスを保証する。誤差は $O(1/m)$ で減少し、モンテカルロ誤差の $O(1/ar{\sqrt{n}})$ よりも速い。

ABSTRACT

We consider Metropolis Hastings MCMC in cases where the log of the ratio of target distributions is replaced by an estimator. The estimator is based on m samples from an independent online Monte Carlo simulation. Under some conditions on the distribution of the estimator the process resembles Metropolis Hastings MCMC with a randomized transition kernel. When this is the case there is a correction to the estimated acceptance probability which ensures that the target distribution remains the equilibrium distribution. The simplest versions of the Penalty Method of Ceperley and Dewing (1999), the Universal Algorithm of Ball et al. (2003) and the Single Variable Exchange algorithm of Murray et al. (2006) are special cases. In many applications of interest the correction terms cannot be computed. We consider approximate versions of the algorithms. We show that on average O(m) of the samples realized by a simulation approximating a randomized chain of length n are exactly the same as those of a coupled (exact) randomized chain. Approximation biases Monte Carlo estimates with terms O(1/m) or smaller. This should be compared to the Monte Carlo error which is O(1/sqrt(n)).

研究の動機と目的

• 対数尤度比のノイズのある推定に基づく確率的受理確率を用いる、一般化されたマルコフ連鎖モンテカルロ（MCMC）アルゴリズムのフレームワークを構築すること。
• 推定された比を用いても、適切な目標分布に収束するための条件を確立すること。
• このようなアルゴリズムの近似版が、固定されたシミュレーション長の間、高い確率で正確な結合チェインと同一のサンプルを生成できることを示すこと。
• 補正項が扱いにくい場合の近似バイアスが $O(1/m)$ であることを示し、これは $O(1/\sqrt{n})$ のモンテカルロ誤差よりも速く減少するため、固定精度では無視できるようになること。

提案手法

• 推定された対数尤度比に基づく確率的受理確率を用いる、ランダム化されたメトロポリス・ハスティングスアルゴリズムを提案。受理確率は、密度 $\xi(x;\theta,\theta')$ を持つ確率変数 $X$ に依存し、ランダム化された遷移核を導入する。
• 一般化された受理確率 $\alpha_\xi(\theta,\theta';x) = \min\left\{1, h_\xi(\theta,\theta';x)\right\}$ を定義。ここで $h_\xi$ は、尤度密度の比と、変数変換補正（自己逆写像 $f$ を用いて）を統合する。
• 同じ初期状態から出発するが、異なる目標分布をもつチェインを開始するカップリング・セパレーションアルゴリズムを導入。これにより、正確なチェインとの比較が可能になる。
• 補助変数空間における自己逆写像 $f$ を用いることで、詳細釣り合いを保証し、ランダム化された核のもとで目標分布が保存されることを保証する。
• ペスクン型順序付けを導出し、ランダム化チェインが標準チェインに確率的に支配されることを示す。これにより、弱い条件下でも混合性が向上することが保証される。
• 推定器 $\hat{D}(W)$ が近似的に対数正規分布に従う場合、補正項が計算可能であり、アルゴリズムが正確に保たれることを確立する。

実験結果

リサーチクエスチョン

• RQ1 推定器の分布的仮定を弱くした場合、対数尤度比のノイズのある推定を用いるMCMCアルゴリズムは、依然として正しい平衡分布に収束するか？
• RQ2 確率的受理確率が、メトロポリス・ハスティングスMCMCで目標分布を保つための条件は何か？
• RQ3 近似MCMCチェインは、有限時間内で正確なチェインとどのように結合させられるか？ これにより、高い確率で同一のサンプル経路が得られる。
• RQ4 補正項が扱いにくい場合、ランダム化MCMCにおける近似バイアスの速度は何か？ そしてモンテカルロ誤差と比較するとどうなるか？
• RQ5 既存のアルゴリズム（ペナルティ法、ユニバーサルアルゴリズム、単一変数交換法）は、ランダム化MCMCの統一的枠組みとして統合可能か？

主な発見

• 提案されたランダム化MCMCアルゴリズムは、対数尤度比の推定器 $\hat{D}(W)$ が対数正規分布に従う場合、正しい目標分布を平衡分布として保つ。
• 近似版アルゴリズムは、平均的に長さ $n$ のシミュレーション期間中に、正確な結合チェインと $O(m)$ 個の同一サンプルを生成でき、実用的に高い忠実度を示す。
• 近似バイアスは $O(1/m)$ で有界であり、これは $O(1/\sqrt{n})$ のモンテカルロ誤差よりも速く減少するため、固定精度では無視できる。
• 本手法により、セペルリーとデイニングのペナルティ法、ボールらのユニバーサルアルゴリズム、マレーらの単一変数交換法の3つの既存アルゴリズムが、特別なケースとして統合される。
• ペスクン順序付けにより、ランダム化チェインが標準チェインに確率的に支配されることを示し、より良い混合性と高速な収束性が保証される。
• 補助変数密度 $\xi$ が $\theta$ と $\theta'$ に依存しない場合、下界 $\epsilon > 0$ を持つ一様な下界を満たすマイノリゼーション条件が成立し、幾何的エルゴドリシティが保証される。