[論文レビュー] Ensuring Rapid Mixing and Low Bias for Asynchronous Gibbs Sampling

Christopher De, Kunle Olukotun+1 more|arXiv (Cornell University)|Feb 24, 2016

Markov Chains and Monte Carlo Methods参考文献 25被引用数 20

ひとこと要約

本稿は、非同期ギブスサンプリングの最初の理論的分析を提供し、バイアスを測定するためのスパースバリエーション距離を導入。全影響（α = O(1)）を持つモデルにおいて、非同期ギブスは、順方向ギブスと同等の収束を、追加でO(1)ステップで達成することを証明。さらに、ドブロシニの条件（α < 1）の下では、混合時間は1 + O(n⁻¹)の要因しか増加しないことが示され、実際の実装で最大2.8倍の高速化が達成されていることを裏付ける。

ABSTRACT

Gibbs sampling is a Markov chain Monte Carlo technique commonly used for estimating marginal distributions. To speed up Gibbs sampling, there has recently been interest in parallelizing it by executing asynchronously. While empirical results suggest that many models can be efficiently sampled asynchronously, traditional Markov chain analysis does not apply to the asynchronous case, and thus asynchronous Gibbs sampling is poorly understood. In this paper, we derive a better understanding of the two main challenges of asynchronous Gibbs: bias and mixing time. We show experimentally that our theoretical results match practical outcomes.

研究の動機と目的

• 非同期ギブスサンプリングの理論的理解の不足に応える。実務で広く使われているが、バイアスと混合時間に関する保証が欠けている。
• 同期の欠如にもかかわらず、非同期ギブスサンプリングがバイアスがなく、高速に混合する条件を同定する。
• 非同期サンプリングにおけるバイアスの実用的影響をよりよく捉えるための新しい統計的距離測度「スパースバリエーション距離」を提案する。
• 全影響パラメータαを用いて、非同期ギブスサンプリングのバイアスと混合時間の理論的境界を確立する。
• 理論的発見を実験的に検証し、実世界の性能向上を示す。

提案手法

• 全変動距離よりもタイトで、局所的なバイアス測定を可能にする新しい統計的距離「スパースバリエーション距離」を導入。
• 変数状態への同時で順序なしの更新が与える影響を分析することで、ギブスサンプリングにおける非同期性をモデル化。
• 変数の分布が他の変数に依存する度合いを定量化するための全影響αを用い、非同期チェインの分析に拡張。
• 全影響α = O(1)のモデルにおいて、非同期ギブスが、順方向ギブスと同等のスパースバリエーション距離を、O(1)の追加ステップで達成することを証明。
• ドブロシニの条件（α < 1）の下では、非同期ギブスの混合時間が順方向ギブスと比較して、1 + O(n⁻¹)の要因しか増加しないことを示す。
• 強力な定常時間技術とコインコレクターの議論を用いて、一貫した状態上での均一分布への到達までの期待時間をバウンディングし、混合時間の境界を導出。

実験結果

リサーチクエスチョン

• RQ1 同期の欠如にもかかわらず、非同期ギブスサンプリングが、どれくらいの条件下でターゲット分布に近いサンプルを生成できるか。
• RQ2 非同期ギブスサンプリングのバイアスは、順方向ギブスと比較してどの程度か。定量的にバウンディング可能か。
• RQ3 ドブロシニの条件下で、非同期ギブスの混合時間と順方向ギブスの混合時間の関係は。
• RQ4 新しい統計的距離測度が、非同期サンプリングにおけるバイアスのより正確で実用的な評価を可能にするか。
• RQ5 バイアスと混合時間の理論的境界が、実世界のモデルにおける実効的性能とどの程度一致するか。

主な発見

• 全影響α = O(1)のモデルにおいて、非同期ギブスサンプリングは、順方向ギブスと同等のスパースバリエーション距離を、最大O(1)の追加ステップで達成する。
• ドブロシニの条件（α < 1）の下では、非同期ギブスサンプリングの混合時間は、順方向ギブスと比較して、最大1 + O(n⁻¹)の要因しか増加しない。
• 理論的分析により、全影響αが小さい場合、非同期ギブスサンプリングは高速かつ正確に動作することが示され、実務での成功を裏付ける。
• 実験的検証により、実世界の問題で最大2.8倍のウォールクロックスピードアップが達成され、理論的利点が確認された。
• スパースバリエーション距離は、特にマージナル推定タスクにおいて、全変動距離よりもより正確で局所的なバイアス測定を可能にする。
• 分析により、非同期ギブスは、順方向ギブスとは異なりバイアスを持つ可能性があることが判明。これにより、その正しさを評価するための新しい理論的ツールの必要性が浮き彫りになった。