[論文レビュー] Dynamic Blocking and Collapsing for Gibbs Sampling

Deepak Venugopal, Vibhav Gogate|arXiv (Cornell University)|Sep 26, 2013

Bayesian Modeling and Causal Inference参考文献 24被引用数 7

ひとこと要約

本稿では、サンプルから得られる相関統計に基づいて、変数をブロッキング済みおよびコラプス済みの集合に動的に分割することで、確率的グラフィカルモデルにおけるギブスサンプリングにおけるブロッキングとコラプスの共同最適化を実現する動的でグリーディなアルゴリズムを提案する。サンプリングの進行に伴い、ブロッキングとコラプスのスコア関数を同時に最大化することで、静的アプローチに比べて混合速度が著しく向上し、最大で1桁の高い精度を達成する。

ABSTRACT

In this paper, we investigate combining blocking and collapsing -- two widely used strategies for improving the accuracy of Gibbs sampling -- in the context of probabilistic graphical models (PGMs). We show that combining them is not straight-forward because collapsing (or eliminating variables) introduces new dependencies in the PGM and in computation-limited settings, this may adversely affect blocking. We therefore propose a principled approach for tackling this problem. Specifically, we develop two scoring functions, one each for blocking and collapsing, and formulate the problem of partitioning the variables in the PGM into blocked and collapsed subsets as simultaneously maximizing both scoring functions (i.e., a multi-objective optimization problem). We propose a dynamic, greedy algorithm for approximately solving this intractable optimization problem. Our dynamic algorithm periodically updates the partitioning into blocked and collapsed variables by leveraging correlation statistics gathered from the generated samples and enables rapid mixing by blocking together and collapsing highly correlated variables. We demonstrate experimentally the clear benefit of our dynamic approach: as more samples are drawn, our dynamic approach significantly outperforms static graph-based approaches by an order of magnitude in terms of accuracy.

研究の動機と目的

• ブロッキングとコラプスを組み合わせることで生じる、変数をコラプスさせた際に悪影響を及ぼす依存性の問題に取り組むこと。
• 確率的グラフィカルモデルにおけるブロッキングとコラプス戦略を共同で最適化する原理的で整合性のある手法を開発すること。
• サンプルから得た相関統計を用いて、サンプリング中に変数の分割を動的に適応させること。
• 計算リソースが限られた環境下でも、混合速度とサンプリング精度を向上させること。
• 実行時における適応によって、静的でグラフベースのブロッキングおよびコラプス手法を上回ること。

提案手法

• 著者らは、2つの異なるスコア関数を定義する：1つはブロッキング用（ランダムウォーク行動を低減する変数のグループ化を好む）、もう1つはコラプス用（高い依存性を示す変数のマージナライゼーションを好む）。
• 両方のスコア関数を同時に最大化することで最適な変数の分割を決定する、マルチオブジェクティブ最適化問題を定式化する。
• サンプルから得た相関統計に基づいて、定期的に変数を再分割することで、計算不能な最適化を近似的に解くための動的でグリーディなアルゴリズムを提案する。
• サンプルベースの相関推定値を活用して、ブロッキングおよびコラプスに適した高相関変数を特定し、混合効率を向上させる。
• サンプリングの進行に伴い分割を動的に調整することで、後方分布の変化に適応できる。
• 計算効率が高く、大規模なグラフィカルモデルへもスケーラブルであるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 ブロッキングとコラプスを、悪影響を及ぼす依存性を生じさせることなく、ギブスサンプリングで効果的に組み合わせることは可能か？
• RQ2 原理的で整合性のある方法で、ブロッキングおよびコラプスの対象となる変数集合の選択を同時に導くためのスコア関数は何か？
• RQ3 サンプルに基づく動的適応による変数の分割は、静的でグラフベースの手法に比べて、より速い混合速度と高い精度を達成できるか？
• RQ4 動的アプローチは、収束速度と精度の観点で、静的アプローチと比較してどの程度優れているか？
• RQ5 サンプリング中に収集された相関統計が、ブロッキングおよびコラプスの意思決定の質に及ぼす影響は何か？

主な発見

• サンプル数が増えるに従い、動的アプローチは静的でグラフベースのブロッキングおよびコラプス手法に比べて、1桁の高い精度を達成する。
• 高相関変数をブロックにグループ化し、有益な場合にはコラプスすることで、混合速度が向上する。
• サンプルから得た相関統計の使用により、推論中に変数の分割を動的に最適化できる。
• ブロッキングとコラプスのスコア関数を共同で最適化することで、それぞれを独立して最適化する場合よりも、より優れた後方分布推定が達成される。
• 動的アルゴリズムは計算効率を維持しながら、精度と収束速度の面で顕著な向上を達成する。
• ベンチマークモデルにおける実験結果から、複数のデータセットにわたり、動的アプローチが静的代替手法を一貫して上回ることが示された。