[論文レビュー] Poisson-Minibatching for Gibbs Sampling with Convergence Rate Guarantees

Ruqi Zhang, Christopher De|arXiv (Cornell University)|Nov 21, 2019

Markov Chains and Monte Carlo Methods被引用数 6

ひとこと要約

この論文は、状態に依存するミニバッチとメトロポリス・ハスティングス補正の回避を用いて、離散的および連続的グラフィカルモデルからの不偏かつ効率的なサンプリングを可能にする、Poisson-minibatching Gibbsと呼ばれる新しいギブスサンプリング手法を導入する。スペクトルギャップの境界を用いた理論的収束速度の保証を提供し、従来のミニバッチ化された手法よりも1イテレーションあたりの計算が高速でありながら、フルギブスサンプリングの性能を維持する。

ABSTRACT

Gibbs sampling is a Markov chain Monte Carlo method that is often used for learning and inference on graphical models. Minibatching, in which a small random subset of the graph is used at each iteration, can help make Gibbs sampling scale to large graphical models by reducing its computational cost. In this paper, we propose a new auxiliary-variable minibatched Gibbs sampling method, {\it Poisson-minibatching Gibbs}, which both produces unbiased samples and has a theoretical guarantee on its convergence rate. In comparison to previous minibatched Gibbs algorithms, Poisson-minibatching Gibbs supports fast sampling from continuous state spaces and avoids the need for a Metropolis-Hastings correction on discrete state spaces. We demonstrate the effectiveness of our method on multiple applications and in comparison with both plain Gibbs and previous minibatched methods.

研究の動機と目的

• 大規模なグラフィカルモデルにおけるギブスサンプリングの高い計算コストを軽減するため、効率的なミニバッチ化を可能にすること。
• 離散状態のギブスサンプリングにおいて、高価なメトロポリス・ハスティングス補正ステップを排除するため、状態に依存するミニバッチ化を用いること。
• 従来の手法が対応できなかった連続状態空間へのミニバッチ化ギブスサンプリングの拡張を実現すること。
• 通常のギブスサンプリングに対するスペクトルギャップの相対的な境界を用いて、理論的収束速度の保証を提供すること。
• 既存のミニバッチ化ギブス変種よりも低い1イテレーションあたりの計算コストを実現しつつ、サンプリングの正確性を維持する実用的なアルゴリズムの設計

提案手法

• 現在の状態に依存するポアソン分布に従うミニバッチを用い、メトロポリス・ハスティングス補正なしに詳細バランスと可逆性を保証する。
• 連続変数に対しては、確率密度関数の多項式近似を用いた高速な逆変換サンプリングを採用する。
• 連続状態空間における条件付き分布の効率的近似に、チェビシェフ補間を適用する。
• スペクトルギャップの理論的境界を導出し、通常のギブスサンプリングに対する収束速度の相対的評価を可能にする。
• 2つの連続的サンプリング変種を導入する：逆変換サンプリングを用いるPGITSと、二重近似を用いて効率を向上させるPGDA。
• 因子の含める確率を、その現在のエネルギー関数への寄与度に応じて決定する状態に依存するミニバッチ化を採用する。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチ化されたギブスサンプラーが、メトロポリス・ハスティングス補正なしに不偏かつ正しく保たれる可能性はあるか？
• RQ2 確率的近似を用いて、ギブスサンプリングを連続状態空間に効率的に拡張することは可能か？
• RQ3 ミニバッチ化ギブスアルゴリズムの収束速度に、理論的保証を与えることは可能か？ これは、フルギブスサンプリングと比較して。
• RQ4 フルギブスサンプリングに近い収束速度を得るために、最適なミニバッチサイズは何か？
• RQ5 状態に依存するミニバッチ化は、バイアスの導入や補正ステップの必要なしに、1イテレーションあたりの計算コストを低減できるか？

主な発見

• Poisson-minibatching Gibbsは、メトロポリス・ハスティングス補正なしに不偏サンプリングを達成し、離散的設定では1イテレーションあたりの計算コストをO(DΨ²)からO(DL²)に削減する。
• 高速な逆変換サンプリングと多項式近似を用いることで、連続状態空間を効率的にサポートし、拒否サンプリングが遅すぎる場合に特に有効である。
• 連続モデルでは、PGDAが1イテレーションあたりO(L² log L)の計算コストを達成し、Nが大きい場合には拒否サンプリングのO(NΔ)よりも著しく高速である。
• 理論的境界により、適切に選ばれたミニバッチサイズを用いれば、Poisson-Gibbsの収束速度を、通常のギブスサンプリングに任意に近づけることができる。
• 実験結果により、Poisson-Gibbsは、フルギブスサンプリングと同等のサンプリング精度を達成しながら、1イテレーションあたりの計算量を削減していることが示された。
• 本手法は、切断ガウス混合分布を含む離散的および連続的モデルの両方で有効であり、密度推定結果が真の分布に非常に近いことが示された。