[論文レビュー] Scan Order in Gibbs Sampling: Models in Which it Matters and Bounds on How Much

Bryan He, Christopher De+2 more|arXiv (Cornell University)|Jun 10, 2016

Markov Chains and Monte Carlo Methods参考文献 24被引用数 19

ひとこと要約

本論文はギブスサンプリングにおけるスキャン順序の影響を調査し、系統的スキャンがランダムスキャンよりも多項式因子の程度ではるかに速くまたは遅く混合することがあることを示しており、長年にわたって提唱されてきた『差は対数的要因までである』という予想とは対照的である。著者らは、緩い条件下でスキャン順序が混合時間に与える影響は多項式要因の範囲内に限られることを示すために、拡張状態空間法を用い、混合時間の差に多項式的境界を導出する。これはMCMCサンプリング分野における重要な理論的問いに解決をもたらす。

ABSTRACT

Gibbs sampling is a Markov Chain Monte Carlo sampling technique that iteratively samples variables from their conditional distributions. There are two common scan orders for the variables: random scan and systematic scan. Due to the benefits of locality in hardware, systematic scan is commonly used, even though most statistical guarantees are only for random scan. While it has been conjectured that the mixing times of random scan and systematic scan do not differ by more than a logarithmic factor, we show by counterexample that this is not the case, and we prove that that the mixing times do not differ by more than a polynomial factor under mild conditions. To prove these relative bounds, we introduce a method of augmenting the state space to study systematic scan using conductance.

研究の動機と目的

• 系統的スキャンとランダムスキャンの混合時間の差が対数的要因までに限られるという長年の予想に反論すること。
• 特定のモデルにおいて、系統的スキャンがランダムスキャンよりも著しく速くまたは遅く混合するかどうかを調査すること。
• 緩い条件下で、さまざまなスキャン順序間の混合時間の相対的境界を確立すること。
• 状態空間の拡張を用いて、導出法を用いて系統的スキャンを分析するための新規手法を開発すること。

提案手法

• 系統的スキャンをマルコフ連鎖としてモデル化できるように、元の変数とスキャンインデックスを含む拡張状態空間を導入する。
• 系統的スキャンのダイナミクスを保持しつつ、導出法分析を可能にするように、拡張連鎖の遷移核を定義する。
• 導出法を用いて混合時間を境界づけるため、マルコフ連鎖理論の既知の不等式を活用する。
• 拡張された系統的スキャン連鎖の導出法が、ランダムスキャンの導出法の一部の下限に達することを証明する。
• 拡張された系統的スキャンの導出法とランダムスキャンの導出法を関連づけることで、混合時間の相対的境界を確立する。
• これらの境界を適用し、緩い条件下でスキャン順序が混合時間に与える影響が多項式的要因に限られることを示す。

実験結果

リサーチクエスチョン

• RQ1 どのモデルにおいても、系統的スキャンがランダムスキャンよりも対数的要因を上回る程度に速く混合することができるか？
• RQ2 悪い順列を用いた系統的スキャンが、ランダムスキャンよりも定数要因を上回る程度に遅く混合することができるか？
• RQ3 すべてのモデルにおいて、ランダムスキャンと系統的スキャンの混合時間の間で、最もきつい相対的境界は何か？
• RQ4 実際の応用において、系統的スキャンの順列の選択が混合時間にどのように影響するか？
• RQ5 状態空間の拡張を用いることで、導出法を系統的スキャンに効果的に適用できるか？

主な発見

• 特定の順列を用いた系統的スキャンが、ランダムスキャンよりも対数的要因を上回る程度に速く混合する反例が構築され、予想の方向（2）が反証された。
• 別のモデルでは、最悪の系統的スキャン順列がランダムスキャンよりも多項式的要因の程度に遅く混合する例が提示され、予想の方向（1）が反証された。
• 緩い条件下で、系統的スキャンの混合時間はランダムスキャンの混合時間の多項式的要因で上界に抑えられ、相対的境界が確立された。
• 拡張された系統的スキャン連鎖の導出法が、ランダムスキャン連鎖の導出法の一部に達することが示され、理論的境界の導出が可能になった。
• 実験的検証により、混合時間がスキャン順列に大きく依存することが確認され、理論的結果を裏付けた。
• 提案された状態空間の拡張法により、元来可逆性の欠如により困難であった導出法を用いた系統的スキャンの分析が可能になった。