[論文レビュー] Minibatch Gibbs Sampling on Large Graphical Models

Christopher De, Vincent Chen+1 more|arXiv (Cornell University)|Jun 15, 2018

Bayesian Modeling and Causal Inference被引用数 7

ひとこと要約

本稿では、大規模なグラフィカルモデルにおけるミニバッチギブスサンプリングを提案し、条件付き更新の際に要因を部分的にサンプリングすることで計算コストを低減しつつ、正確な定常性を維持する。不偏なバリエーションを導入し、収束保証を備え、エネルギー関数が有界な条件下で、O(DΔ)からO(D + Δ)への漸近的高速化を達成する。

ABSTRACT

Gibbs sampling is the de facto Markov chain Monte Carlo method used for inference and learning on large scale graphical models. For complicated factor graphs with lots of factors, the performance of Gibbs sampling can be limited by the computational cost of executing a single update step of the Markov chain. This cost is proportional to the degree of the graph, the number of factors adjacent to each variable. In this paper, we show how this cost can be reduced by using minibatching: subsampling the factors to form an estimate of their sum. We introduce several minibatched variants of Gibbs, show that they can be made unbiased, prove bounds on their convergence rates, and show that under some conditions they can result in asymptotic single-update-run-time speedups over plain Gibbs sampling.

研究の動機と目的

• 高次元変数を有する大規模で高密度に接続されたグラフィカルモデルにおけるギブスサンプリングのスケーラビリティのボトルネックを解消すること。
• 変数のドメインサイズDとグラフ次数Δに比例するO(DΔ)のギブス更新ごとの計算コストを、バイアスを導入せずに低減すること。
• 元のギブス連鎖の正確な定常分布を維持するミニバッチ技術を開発すること。
• ミニバッチバージョンが、完全なギブスサンプリングとほぼ同程度の速さで収束することを保証する理論的収束バウンドとパrameter設定を提供すること。
• エネルギー関数が有界な条件下で、密なグラフィカルモデルにおける計算時間の漸近的高速化を達成すること。

提案手法

• 変数の局所的近傍における要因を部分的にサンプリングすることで、その条件付き分布を推定するミニバッチギブスサンプラーであるMIN-Gibbsを導入する。
• 重要度サンプリングとリジェクションサンプリングを用いて、ミニバッチ更新が真の条件付き分布に関して不偏であることを保証する。
• 詳細つり合いを維持するため、メトロポリス・ハスティングス補正にミニバッチ化された提案分布を用いるMGPMH（Minibatch-Gibbs-Proposal Metropolis-Hastings）を提案する。
• 要因と変数ドメインの値の両方を部分的にサンプリングすることで、さらにコストを低減する二重ミニバッチ化されたバージョンであるDoubleMIN-Gibbsを設計する。
• ミニバッチサイズとサンプリング戦略を調整することで、ミニバッチ連鎖の固有値ギャップが、完全なギブス連鎖の固有値ギャップに任意に近づけることを証明する。
• 固有値ギャップ分析を用いて収束速度の理論的バウンドを確立し、因子グラフとエネルギー関数にやや緩い条件下でも収束が保たれることを示す。

実験結果

リサーチクエスチョン

• RQ1 バイアスを導入せずに、大規模なグラフィカルモデルにおけるギブスサンプリングをミニバッチ化することで高速化可能か？
• RQ2 ミニバッチギブスサンプラーが、完全なギブスサンプリングと同等の速度で収束するための条件は何か？
• RQ3 ミニバッチ化されたマルコフ連鎖の固有値ギャップを、元の連鎖に対してどのようにバウンドできるか？
• RQ4 エネルギー関数が有界な仮定の下で、ミニバッチギブスサンプリングの漸近的計算複雑度は何か？
• RQ5 パrameter調整により、ミニバッチギブスの収束が完全なギブス連鎖に任意に近づくように保証できるか？

主な発見

• MIN-GibbsとDoubleMIN-Gibbsは、それぞれ高確率でO(DΨ²)およびO(DL² + Ψ²)の漸近的計算コストを達成し、標準的なギブスサンプリングのO(DΔ)コストを顕著に低減する。
• MGPMHバージョンはO(DL² + Δ)のコストを達成し、バイアス制御と計算効率のトレードオフを提供する。
• エネルギー関数が有界な条件下では、ミニバッチギブスサンプラーがO(D + Δ)の漸近的更新コストを達成し、O(DΔ)に対して顕著な改善を示す。
• ミニバッチ連鎖の固有値ギャップは、ミニバッチサイズとサンプリング戦略を調整することで、元のギブス連鎖の固有値ギャップに任意に近づけることができる。
• 理論的分析により、ミニバッチ手法が不偏であり、保証された収束速度で正しい定常分布に収束することが確認された。
• 400変数の合成イジングモデルおよびポッツモデル、およびガウス型RBF相互作用カーネルを用いた実験により、理論的高速化と収束特性が妥当であることが検証された。