[論文レビュー] Unbiased Markov chain Monte Carlo with couplings

Pierre Jacob, John R. O’Leary+1 more|arXiv (Cornell University)|Aug 11, 2017

Markov Chains and Monte Carlo Methods参考文献 98被引用数 38

ひとこと要約

この論文では、GlynnとRhee（2014）のテレスコピング和技術を用いて、2つのMCMC連鎖を結合することで、不偏なマルコフ連鎖モンテカルロ（MCMC）推定量を生成する手法を提案している。得られる推定量は、任意の固定回数の反復後にも不偏性を保ち、並列計算を効率的に行うことができ、プロセッサ数に基づいた有効な信頼区間を提供する。応用例として、多峰性のターゲット関数やモジュラーBayes推論を含む複雑なモデルに適している。

ABSTRACT

Markov chain Monte Carlo (MCMC) methods provide consistent of integrals as the number of iterations goes to infinity. MCMC estimators are generally biased after any fixed number of iterations. We propose to remove this bias by using couplings of Markov chains together with a telescopic sum argument of Glynn and Rhee (2014). The resulting unbiased estimators can be computed independently in parallel. We discuss practical couplings for popular MCMC algorithms. We establish the theoretical validity of the proposed estimators and study their efficiency relative to the underlying MCMC algorithms. Finally, we illustrate the performance and limitations of the method on toy examples, on an Ising model around its critical temperature, on a high-dimensional variable selection problem, and on an approximation of the cut distribution arising in Bayesian inference for models made of multiple modules.

研究の動機と目的

• 標準MCMC推定量に内在する根本的なバイアスが、多くの反復後でも消えないという問題に取り組む。
• 結合とRhee–Glynn推定量を用いることで、通信を伴わないMCMC連鎖の並列実行を可能にし、バイアスを除去する。
• メトロポリス–ハスティングス法やギブスサンプラーなどの一般的なMCMCアルゴリズムに適用可能な一般化されたフレームワークを提供する。
• 不偏推定量を用いたモジュラー推論と、収束診断の改善を支援する。
• 高次元および多峰性のターゲットにおいて、実用的効率性とスケーラビリティを示す。

提案手法

• 2つの結合されたマルコフ連鎖を用い、結合メカニズムにより有限時間内で一致するように同時に進化させる。
• Rhee–Glynn推定量を適用し、連鎖が一致した時刻以降の差分のテレスコピング和を用いて不偏推定量を構築する。
• 推定量は $ \mathbb{E}[\sum_{t=k+1}^{\tau-1} (h(X_t) - h(Y_{t-1}))] $ で定義され、ここで $ \tau $ は連鎖の一致時刻を表す。
• 効率的な一致時刻を確保するため、最大結合、反射結合、共通の乱数を用いた結合を実装する。
• 連鎖の独立な並列実行を可能とし、プロセッサ数に応じた漸近的信頼区間が正当化される。
• 推定量の効率を制御するための調整パrameter $ k $ と $ m $ を用い、$ k $ は一致時刻の大きな分位数として選択され、$ m $ は $ k $ の倍数として設定される。

実験結果

リサーチクエスチョン

• RQ1 ターゲット分布の解析的表現を事前に知らなくても、一般のMCMCアルゴリズムに対して不偏MCMC推定量を構築できるか？
• RQ2 提案手法の不偏推定量は、標準MCMCと比較して、効率性と分散の面で優れているか？
• RQ3 この手法は、連鎖間の通信なしにMCMCの並列計算を効果的に可能にするか？
• RQ4 この手法は、特にカット分布の計算において、モジュラーBayes推論にどのような影響を与えるか？
• RQ5 調整パrameter $ k $ と $ m $ は、得られる推定量のバイアスと分散にどのように影響するか？

主な発見

• 提案手法は、任意の固定反復回数に対して不偏な推定量を生成し、バイアスなしに並列実行を可能にする。
• 標準MCMCが反復回数の漸近的性質に依存するのに対し、本手法はプロセッサ数に基づいた有効な信頼区間を提供する。
• 高次元の変数選択問題やイジングモデルにおいて、連鎖の混合が良好な場合、実用的なスケーラビリティと効率性を示した。
• モジュラー推論におけるカット分布の計算では、異なる条件付き分布を標本化する連鎖を組み合わせることで、周辺事後分布を効果的に推定した。
• 推定量の効率は、一致時刻 $ \tau $ に強く依存しており、混合が遅い連鎖では分散が大きくなり、性能が劣化する。
• 理論的分析により、連鎖の周辺分布とターゲット分布との全変動距離が $ \mathbb{E}[\max(0, \tau - k - 1)] $ を用いて上限で抑えられることを確認し、収束診断が可能になった。