[論文レビュー] Improving Asymptotic Variance of MCMC Estimators: Non-reversible Chains are Better

Radford M. Neal|ArXiv.org|Jul 15, 2004

Markov Chains and Monte Carlo Methods参考文献 14被引用数 49

ひとこと要約

本稿では、有限状態空間上の任意の可逆マルコフ連鎖を、拡張された状態空間上での非可逆連鎖に変換する手法を提案する。この変換により、MCMC推定量の漸近的分散が低減または維持される。バックトラッキング遷移（直前の状態に戻る遷移）を回避することで、適切な状態空間の拡張と逐次的更新を用いて、新しい連鎖は漸近的分散を低減し、非可逆連鎖がMCMC推定において本質的により効率的であることを示している。

ABSTRACT

I show how any reversible Markov chain on a finite state space that is irreducible, and hence suitable for estimating expectations with respect to its invariant distribution, can be used to construct a non-reversible Markov chain on a related state space that can also be used to estimate these expectations, with asymptotic variance at least as small as that using the reversible chain (typically smaller). The non-reversible chain achieves this improvement by avoiding (to the extent possible) transitions that backtrack to the state from which the chain just came. The proof that this modification cannot increase the asymptotic variance of an MCMC estimator uses a new technique that can also be used to prove Peskun's (1973) theorem that modifying a reversible chain to reduce the probability of staying in the same state cannot increase asymptotic variance. A non-reversible chain that avoids backtracking will often take little or no more computation time per transition than the original reversible chain, and can sometime produce a large reduction in asymptotic variance, though for other chains the improvement is slight. In addition to being of some practical interest, this construction demonstrates that non-reversible chains have a fundamental advantage over reversible chains for MCMC estimation. Research into better MCMC methods may therefore best be focused on non-reversible chains.

研究の動機と目的

• 非可逆マルコフ連鎖が、MCMC推定において可逆連鎖よりも低い漸近的分散を達成できることを示すこと。
• 任意の可逆的かつ既約なマルコフ連鎖を、漸近的分散が増加しないことが保証された拡張状態空間上での非可逆連鎖に変換する一般的手法を開発すること。
• 直前の状態に戻る遷移（バックトラッキング）を回避することで、ランダムウォークに似た挙動が抑制され、サンプリング効率が向上することを示すこと。
• 可逆性に依存しない、ブロック分解とサンプリングの階層化に基づく新しい解析的手法を導入し、漸近的分散の低減を証明すること。
• 非可逆連鎖が分散低減の面で本質的な利点を有することを踏まえ、将来的なMCMC手法の効率化に関する研究は、非可逆連鎖を優先すべきであると主張すること。

提案手法

• 元の状態空間を、現在の状態と直前の状態のペアに拡張し、非可逆連鎖のための新たな状態空間を構築する。
• 2段階の更新機構を定義する：まずペアの成分を入れ替え、次に第二成分に対して変更を加えたギブスサンプリング更新を実行し、同じ状態に留まるのを避ける。
• 入れ替えとギブス更新という2つの可逆核を逐次的に適用することで、全体として非可逆な遷移核を構築する。
• 変更の影響を受ける遷移で区切られたブロックに連鎖を分割する独自の証明技法を適用し、ブロック間でのサンプリングの階層化が漸近的分散を低減することを示す。
• デルタ法と多変量中心極限定理を用いて、異なる状態に費やす時間の割合に依存する成分に漸近的分散を分解する。
• 変更が分散分解に与える影響は、階層化の導入に限られ、これは分散を増加させず、多くの場合に低下させる。

実験結果

リサーチクエスチョン

• RQ1 可逆連鎖から非可逆連鎖を構築することができ、MCMC推定量の漸近的分散が増加しないようにできるか？
• RQ2 バックトラッキング遷移（直前の状態に戻る遷移）を回避することで、MCMC推定量の漸近的分散が低減するか？
• RQ3 非可逆連鎖が可逆連鎖と比較して、どのようにして低い分散を達成するのか、理論的メカニズムは何か？
• RQ4 ブロック分解と階層化に基づく新しい証明技法を用いることで、可逆性に依存しないMCMCにおける分散低減の結果を確立できるか？
• RQ5 漸近的分散の改善度は、元の可逆連鎖の構造にどの程度依存するか？

主な発見

• 提案された非可逆連鎖の構築法は、MCMC推定量の漸近的分散が元の可逆連鎖と同等以上であることを保証し、通常はより小さくなる。
• 改善効果は、バックトラッキングの回避に起因し、可逆連鎖に内在する遅い拡散的ランダムウォーク的挙動が抑制されるためである。
• 遷移ごとの計算時間にほとんど増加がないため、計算的にも効率的である。
• バックトラッキングの抑制が多数のステップにわたり方向的移動を強制する場合、漸近的分散の低減は顕著になることがある。
• 他の連鎖では改善がわずかであるが、この手法は性能の劣化を一切保証しない。
• 新規の証明技法は、分散低減の結果を示すだけでなく、他のMCMC変種への応用が可能な洗練された一般化可能なフレームワークを提供し、ペスキンの定理の新たな証明を可能にする。