[論文レビュー] Convergence Rates for Hierarchical Gibbs Samplers

Oliver Jovanovski, Neal Madras|arXiv (Cornell University)|Feb 19, 2014

Bayesian Methods and Mixture Models参考文献 14被引用数 3

ひとこと要約

本稿では、深さ3または4のベイジアンハイアラルティカルモデルにおけるガンマ事後分布を標本抽出対象とする階層的ギブスサンプラーについて、幾何的収束速度を確立する。カップリング技法と確率的単調性を用いて、均衡への全 Variation 距離を評価し、現実的なパrameter設定下で数百万回の反復内での収束を示し、補助過程とモーメントバウンドを用いて明示的な定量的収束率を導出する。

ABSTRACT

We establish some results for the rate of convergence in total variation of a Gibbs sampler to its equilibrium distribution. This sampler is motivated by a hierarchical Bayesian inference construction for a gamma random variable. Our results apply to a wide range of parameter values in the case that the hierarchical depth is 3 or 4, and are more restrictive for depth greater than 4. Our method involves showing a relationship between the total variation of two ordered copies of our chain and the maximum of the ratios of their respective co-ordinates. We construct auxiliary stochastic processes to show that this ratio does converge to 1 at a geometric rate.

研究の動機と目的

• ガンマ事後分布を標本抽出対象とする階層的ギブスサンプラーの全 Variation 収束速度に対する厳密な上界を確立すること。
• 4次元状態空間における奇数番号と偶数番号の座標を逐次更新するギブスサンプラーの収束挙動を分析すること。
• n=3の場合への解析の拡張を行い、動的性質が単純化された類似の収束特性を示すこと。
• カップリングとモーメントに基づく不等式を用いて、収束速度の明示的定量的バウンドを導出すること。
• ガンマ事前分布を有するハイアラルティカルベイジアン推論におけるMCMCサンプリングの実用的収束閾値を提供すること。

提案手法

• 条件付きガンマ分布に従う更新順序1,3,2,4に従うギブスサンプラーを構築する。
• 反復的確率的関数を用いて、i.i.d. なガンマ分布のインノベーションを介してマルコフ連鎖のダイナミクスを表現する。
• 2つのカップリングされた連鎖における対応する座標の比を追跡する補助確率過程を導入する。
• カップリングの議論を適用し、座標の比が幾何的レートで1に収束することを示し、幾何的エルゴード性を示す。
• モーメントバウンドと停止時刻の議論を用いて、期待比を制御し、収束速度定数を導出する。
• 確率的単調性と部分分数分解を活用し、E[(γ₂/γ₄ + γ₄/γ₂)(γ₃/(γ₂+γ₄))] のような重要な期待値を計算する。

実験結果

リサーチクエスチョン

• RQ1 深さ4のガンマ事後分布を標本抽出対象とする階層的ギブスサンプラーについて、全 Variation での収束速度はいかほどか？
• RQ2 カップリング技法を用いて、高次元のハイアラルティカルモデルにおける幾何的収束をどのように確立できるか？
• RQ3 形状パラメータにどのような条件を課すと、有限のモーメントと幾何的エルゴード性が保証されるか？
• RQ4 収束速度は、特に形状およびスケールパラメータにどのように依存するか？
• RQ5 深さ3の場合に対しても同様の収束バウンドを導出可能か？また、深さ4の場合と比較してどのように異なるか？

主な発見

• n=4の場合、均衡への全 Variation 距離は幾何的に減少し、dTV(Ut+3, π) ≤ 31,065 × (1 − 3/4356)^(t/40) + (1 + 59/20) × (7/9)^(⌊t/2⌋+3) が成り立ち、t ≥ 1,050,000 で dTV ≤ 10⁻⁵ となる。
• n=3の場合、収束バウンドは dTV(Ut+2, π) ≤ 600 × (1 − 78/79)^(t/20) + 6 × (7/9)^(⌊t/2⌋+3) であり、t ≥ 14,000 で dTV ≤ 10⁻⁵ となる。
• 収束速度は、ガンマ比のモーメントバウンドと停止時刻の制御から導かれる収縮係数 r < 1 によって支配される。
• 本手法は、2つの連鎖における座標比が幾何的レートで1に収束するカップリングを構築することに依存しており、迅速な混合を保証する。
• β ≤ 7/9 および r ≤ 1 − 3/4356 といった重要な定数は、パrameter依存のモーメント期待値と部分分数分解から導出される。
• 解析により、a₁ + a₄ > 1 および a₂ + a₃ > 1 の条件下で幾何的エルゴード性が成立することが確認され、重要な比の積分可能性が保証される。