[論文レビュー] How to view an MCMC simulation as a permutation, with applications to parallel simulation and improved importance sampling

Radford M. Neal|arXiv (Cornell University)|May 1, 2012

Markov Chains and Monte Carlo Methods参考文献 19被引用数 9

ひとこと要約

本稿では、マルコフ連鎖モンテカルロ（MCMC）シミュレーションを拡張状態空間上の確率的置換または体積保存写像として再解釈する新しいフレームワークを提案する。これにより、並列シミュレーションの効率化と重要度サンプリングの向上が可能になる。元の連鎖を一様または不変測度を持つより大きな空間に埋め込むことで、確率的密度を保存する決定論的かつ可逆な遷移を保証し、共通の乱数ストリームの使用や、非ランダムまたは準ランダムな数列を用いた場合でも、安定した推定が可能になる。

ABSTRACT

Consider a Markov chain defined on a finite state space, X, that leaves invariant the uniform distribution on X, and whose transition probabilities are integer multiples of 1/Q, for some integer Q. I show how a simulation of n transitions of this chain starting at x_0 can be viewed as applying a random permutation on the space XxU, where U={0,1,...,Q-1}, to the start state (x_0,u_0), with u_0 drawn uniformly from U. This result can be applied to a non-uniform distribution with probabilities that are integer multiples of 1/P, for some integer P, by representing it as the marginal distribution for X from the uniform distribution on a suitably-defined subset of XxY, where Y={0,1,...,P-1}. By letting Q, P, and the cardinality of X go to infinity, this result can be generalized to non-rational probabilities and to continuous state spaces, with permutations on a finite space replaced by volume-preserving one-to-one maps from a continuous space to itself. These constructions can be efficiently implemented for chains commonly used in Markov chain Monte Carlo (MCMC) simulations. I present two applications in this context - simulation of K realizations of a chain from K initial states, but with transitions defined by a single stream of random numbers, as may be efficient with a vector processor or multiple processors, and use of MCMC to improve an importance sampling distribution that already has substantial overlap with the distribution of interest. I also discuss the implications of this "permutation MCMC" method regarding the role of randomness in MCMC simulation, and the potential use of non-random and quasi-random numbers.

研究の動機と目的

• MCMC遷移を拡張状態空間上での置換または体積保存写像として再解釈する手法を開発し、新たな計算的効率を実現すること。
• 1つの乱数ストリームを用いて、異なる初期状態からの複数の連鎖を並列にシミュレートできるようにし、合流（coalescence）を回避し、通信コストを低減すること。
• 提案分布からのサンプルにMCMC遷移を適用することで重要度サンプリングを改善し、複雑な密度関数の逆関数を取らずに正しい重みを維持できるように、乱数ストリームを活用すること。
• MCMCにおけるランダム性の役割を検討し、非ランダムまたは準ランダムな列をMCMCシミュレーションに使用する可能性を評価すること。
• 極限的構成を用いて、連続的状態空間および非一様・非有理確率への一般化を検討すること。

提案手法

• 補助変数（例：一様乱数）を導入することで状態空間を拡張し、元のMCMC遷移を決定論的かつ可逆的、体積保存的な写像に変換する。
• 有理確率を持つ離散MCMC連鎖を、有限積空間 X × U 上の置換として表現する。ここで U は一様な補助空間である。
• 連続的または非一様分布の場合、写像が拡張空間上のLebesgue測度を保存する連続的拡張を用いる。
• 乱数の系列を用いて変換を定義し、置換または写像を生成することで、最終的な状態分布がターゲット分布と一致することを保証する。
• 逆方向のシミュレーション（時間の逆向きに）を用いて、最終状態から初期状態へのパスをたどることで重要度サンプリングの重みを計算する。
• 共通の乱数ストリームを用いた前向きおよび逆向きのMCMC更新をサポートする、ベクトル化されたRコードによる実装を行う。

実験結果

リサーチクエスチョン

• RQ1 MCMCシミュレーションを、収縮的挙動を回避するための拡張状態空間上の置換または体積保存写像として再定式化できるか？
• RQ2 1つの乱数ストリームを用いて、合流を誘発せずに複数のMCMC連鎖を並列にシミュレートする方法は何か？
• RQ3 MCMC遷移を提案分布からのサンプルに適用することで、重要度サンプリングの提案分布のターゲット分布との重複度を改善できるか？
• RQ4 この置換MCMCフレームワークは、非ランダムまたは準ランダムな列をMCMCに使用する場合にどのような意味を持つのか？
• RQ5 複数の初期状態が同じ最終状態に到達する場合、信頼性のある重要度サンプリング重みをどのように計算できるか？

主な発見

• 収縮的MCMC遷移が、拡張空間上での非収縮的かつ可逆的な写像に正しく変換され、確率測度が保存されることを確認した。
• 1つの乱数ストリームを用いた複数連鎖の並列シミュレーションが可能であり、遷移が置換として定義されている限り、合流を回避できる。
• 提案分布からのサンプルにランダムな数のMCMCステップを適用することで、重要度サンプリングを顕著に改善でき、体積保存性のおかげで正しい重みが維持される。
• 写像が可逆的かつ測度保存的である限り、MCMCに非ランダムまたは準ランダムな列を使用しても有効性に損なわれない。
• テストケースでは、改善された重要度サンプリング手法により、名目上のNに近い調整済みサンプルサイズを示す安定した推定が得られた。これは、重みの適切なキャリブレーションを示している。
• Rによる実装により、逆方向シミュレーションと重み計算が中程度次元の問題に対して計算的に実行可能かつ正確であることが示された。