[論文レビュー] Sampling Polya-Gamma random variates: alternate and approximate techniques

Jesse Windle, Nicholas G. Polson+1 more|arXiv (Cornell University)|May 2, 2014

Bayesian Methods and Mixture Models参考文献 15被引用数 18

ひとこと要約

本稿では、$J^*(b,z)$分布に対するPólya-Gamma分布のための効率的なサンプリング手法を提案する。整数 $b \in [1,4]$ に対しては代替的直接サンプラーを導入し、$b$ が大きい場合には鞍点近似を用いる。$n=3$ から $10$ では代替サンプラーが標準的なDevroye法を上回り、$n \geq 13$ では鞍点法が最も効率的であり、ベースライン法比で最大6.78倍の高速化を達成している。

ABSTRACT

Efficiently sampling from the Pólya-Gamma distribution, ${PG}(b,z)$, is an essential element of Pólya-Gamma data augmentation. Polson et. al (2013) show how to efficiently sample from the ${PG}(1,z)$ distribution. We build two new samplers that offer improved performance when sampling from the ${PG}(b,z)$ distribution and $b$ is not unity.

研究の動機と目的

• $b \neq 1$ の場合に生じるPólya-Gammaデータ拡張における計算ボトル neck を解消するため、$\text{PG}(b,z)$ のサンプリング効率を向上させること。
• $n \in [1,4]$ である整数 $n$ に対して $J^*(n,z)$ の直接サンプラーを開発し、$n$ 個の独立した $J^*(1,z)$ 変量の和を避けること。
• 正確な手法が非現実的になるような大きな $b$ の場合に、$J^*(b,z)$ の高速サンプリングを可能にする鞍点近似法を提案すること。
• $n$ と $z$ に応じて最適な手法を選択するハイブリッドサンプリング戦略を構築し、サンプリング効率を最大化すること。
• さまざまな $n$ と $z$ の値の範囲で複数のサンプリング戦略をベンチマークし、性能のトレードオフを特定すること。

提案手法

• $J^*(b,z)$ の無限級数表現を用い、$d_n = \frac{\pi^2}{2}(n+\frac{1}{2})^2 + \frac{z^2}{2}$ でスケーリングされた独立したガンマ変量の和として $J^*(b,z)$ を表現し、$J^*(n,z)$ に対する代替サンプラーを導入する。
• ガンマ分布の無限可除性および安定なサブオペレーターの性質を活用し、$n \in \{1,2,3,4\}$ に対して $J^*(n,z)$ の直接サンプラーを構築する。
• モーメント生成関数 $M(t;b,z) = \prod_{n=0}^\infty \left(1 - \frac{t}{d_n}\right)^{-b}$ を用いて、累積量母関数を一致させ、鞍点方程式 $\psi'(t^*) = x$ を用いて密度を近似する鞍点近似法を開発する。
• 累積量母関数 $M(t;b,z) = \prod_{n=0}^\infty \left(1 - \frac{t}{d_n}\right)^{-b}$ を用いて鞍点近似を導出し、近似密度からサンプリングを行う。
• $n=1,2$ に対してはDevroye法、$n \in \{3,\dots,12\}$ に対しては代替法、$13 \leq n \leq 170$ に対しては鞍点法、$n \geq 170$ に対しては正規近似を用いるハイブリッドサンプリング戦略を実装する。
• 標準ラップトップ上で、さまざまな $n$ と $z$ の値に対して10,000個のi.i.d.抽出を実行し、壁時計時間とDevroye法に対するスピードアップ比を測定して、すべての手法をベンチマークする。

実験結果

リサーチクエスチョン

• RQ1 整数 $b > 1$ の場合に $J^*(b,z)$ からのサンプリングをどのように高速化できるか？
• RQ2 $n \in \{3,4\}$ である $J^*(n,z)$ に対する直接サンプラーは、$n$ 個の独立した $J^*(1,z)$ 変量の和と比較して、どの程度の性能向上を達成するか？
• RQ3 $b$ が大きい場合に $J^*(b,z)$ に対する鞍点近似の精度と効率はどの程度か？
• RQ4 $b$ と $z$ の異なる範囲において最適なハイブリッドサンプリング戦略は何か？
• RQ5 ガンマ関数の評価に失敗する場合に、$b \geq 170$ に対して正規近似を信頼できるものとして使用できるか？

主な発見

• $n \in \{3,4\}$ に対する $J^*(n,z)$ の代替サンプラーは、$z=2$ の場合にDevroye法比で最大2.75倍の高速化を達成している。
• $n=10$ の場合、鞍点近似法はDevroye法比で2.57倍の高速化を達成しており、$n$ が増加するにつれて性能が向上する。
• 鞍点法は $n \geq 13$ の場合、すべての他の手法を上回り、$n=100$, $z=10$ の場合に最大6.78倍の高速化を達成している。
• ハイブリッドサンプリング戦略（$n=1,2$ でDevroye法、$n=3$ から $12$ で代替法、$n=13$ から $170$ で鞍点法、$n \geq 170$ で正規近似）は、全パrameter空間にわたり最適なパフォーマンスを実現している。
• Fact 3.5に基づく切り捨て和法（200個のガンマ変量の和）は、他の手法を常に下回り、最良の代替手法よりも常に遅い。
• スピードアップ比は $n$ に比例して増加し、$z$ は最適な手法の選択に影響を与えるが、異なる $z$ 値においても一般的なパフォーマンスのトレンドは一貫している。