[論文レビュー] The Randomness Recycler: A new technique for perfect sampling

James Allen Fill, Mark Huber|ArXiv.org|Sep 29, 2000

Markov Chains and Monte Carlo Methods参考文献 6被引用数 7

ひとこと要約

本稿では、従来のマルコフ連鎖を回避する新しい完全サンプリング技法であるRandomness Recycler (RR) を提案する。RRは、複雑な分布からの正確なサンプルを生成するが、マルコフ連鎖に依存しない。マルコフ連鎖に基づく手法とは異なり、RRは中断可能であり、1回読み込み可能であり、特定の問題（独立集合、彩色、イジング模型）に対して期待線形時間計算量を達成する。

ABSTRACT

For many probability distributions of interest, it is quite difficult to obtain samples efficiently. Often, Markov chains are employed to obtain approximately random samples from these distributions. The primary drawback to traditional Markov chain methods is that the mixing time of the chain is usually unknown, which makes it impossible to determine how close the output samples are to having the target distribution. Here we present a new protocol, the randomness recycler (RR), that overcomes this difficulty. Unlike classical Markov chain approaches, an RR-based algorithm creates samples drawn exactly from the desired distribution. Other perfect sampling methods such as coupling from the past use existing Markov chains, but RR does not use the traditional Markov chain at all. While by no means universally useful, RR does apply to a wide variety of problems. In restricted instances of certain problems, it gives the first expected linear time algorithms for generating samples. Here we apply RR to self-organizing lists, the Ising model, random independent sets, random colorings, and the random cluster model.

研究の動機と目的

• マルコフ連鎖モンテカルロ（MCMC）手法の制限を解決する。MCMC手法は近似サンプルを生成し、混合時間の未知性を伴う。
• 従来の完全サンプリング手法（例えば、過去からの結合（CFTP））の欠点を克服する。CFTPは中断不能であり、ランダムビットの保存を必要とする。
• マルコフ連鎖に依存しないが、ターゲット分布からの正確なサンプリングを保証する新しいサンプリングフレームワークを開発する。
• 従来の手法が遅いか理論的境界が不明であった問題に対して、期待線形時間性能を達成する。
• 硬い組み合わせ的および統計物理学的問題に対して、実用的で中断可能でメモリ効率の良い、従来の完全サンプリング技術の代替手段を提供する。

提案手法

• RR法は、マルコフ連鎖をシミュレートするのではなく、小さな部分グラフや初期状態から段階的に所望のサンプルを構築することで、必要なサンプルを生成する。
• 各ステップで、条件付き分布が正しく保たれるように、頂点や要素を追加または削除する。
• アルゴリズムは、各新しい要素がターゲット分布に与える寄与に基づき、受け入れまたは却下される再帰的サンプリング戦略を用いる。各段階で正しさが保証される。
• この手法は「1回読み込み」性質に依存している：ランダムビットは逐次的に消費され、保存されず再読み込みされないため、中断可能である。
• 独立集合や彩色の問題では、局所構造とアフィニティパラメータに基づいた状態空間の再帰的分解をRRアプローチが用いる。
• 正しさは再帰的議論により確立され、各部分サンプルがターゲット測度に条件付きで分布することを示す。

実験結果

リサーチクエスチョン

• RQ1 マルコフ連鎖を避けるが、複雑な分布からの正確なサンプルを保証する完全サンプリング手法を設計可能か？
• RQ2 混合時間の仮定に依存せず、ランダム独立集合や彩色の問題に対して期待線形時間サンプリングを達成可能か？
• RQ3 完全サンプリングアルゴリズムを中断可能かつ1回読み込み可能にでき、ランダムビットの保存を不要とし、時間制限付き実行を可能にするか？
• RQ4 RR法は、どの種類の分布とパrameter範囲において、従来のマルコフ連鎖ベースの手法よりも実行時間で優れているか？
• RQ5 RR法の理論的および実験的性能境界は、CFTPや他の完全サンプリング技術と比較してどうか？

主な発見

• 活性ガス模型で、fugacity λ < 4/(3Δ − 4) の場合、RR法は期待線形時間サンプリングを達成し、この問題に対して初めての結果である。
• RRアプローチは、制限されたパrameter範囲下で、期待線形実行時間となる最初の完全サンプリングアルゴリズムであり、ランダム独立集合と適切な彩色の問題に適用可能である。
• ランダムクラスターモデルでは、pの範囲に対してRR法は期待線形時間で実行可能であるが、マルコフ連鎖手法では既知の多項式境界が存在しない。
• 実験では、自己最適化リストのMove Ahead 1（MA1）ルールにおいて、RR法はCFTPを上回る実用的性能を示した。
• RR法は中断可能で1回読み込み可能であり、FMMRのような他の完全サンプリングアルゴリズムが要請するランダムビットの保存を回避する。
• 理論的分析により、RR法はマルコフ連鎖ベースのサンプリングで一般的なO(n ln n)の壁を破り、特定の問題クラスにおけるより高速な正確サンプリングへの新たな道筋を提供する。