[論文レビュー] An approach to large-scale Quasi-Bayesian inference with spike-and-slab priors

Yves F. Atchadé, Anwesha Bhattacharyya|arXiv (Cornell University)|Mar 27, 2018

Bayesian Methods and Mixture Models参考文献 62被引用数 6

ひとこと要約

本稿は、スパース化トリックを導入した準ベイズ推論フレームワークを提案し、スパイクアンドスラブ事前分布を用いることで、高次元設定における効率的なMCMCおよび変分推論を可能にする。主な貢献は、後部分布の収縮および変分近似の精度に関する理論的保証であり、ガウス graphical モデルおよびスパースPCAで検証されている。

ABSTRACT

We propose a general framework using spike-and-slab prior distributions to aid with the development of high-dimensional Bayesian inference. Our framework allows inference with a general quasi-likelihood function. We show that highly efficient and scalable Markov Chain Monte Carlo (MCMC) algorithms can be easily constructed to sample from the resulting quasi-posterior distributions. We study the large scale behavior of the resulting quasi-posterior distributions as the dimension of the parameter space grows, and we establish several convergence results. In large-scale applications where computational speed is important, variational approximation methods are often used to approximate posterior distributions. We show that the contraction behaviors of the quasi-posterior distributions can be exploited to provide theoretical guarantees for their variational approximations. We illustrate the theory with some simulation results from Gaussian graphical models, and sparse principal component analysis.

研究の動機と目的

• 高次元ベイズ推論におけるポイントマススパイクアンドスラブ事前分布の計算不能性に対処するため、ポイントマスを小さな分散のガウス分布に置き換える。
• 標準尤度を超える応用を可能にする柔軟な準尤度関数を用いた、大規模な準ベイズ推論の一般枠組みを構築する。
• 次元が増大する際の結果として得られる準後部分布の理論的収束結果を確立する。
• 後部分布収縮の挙動を活用して、変分近似の理論的妥当性を裏付ける。
• ガウス graphical モデルおよびスパース主成分分析におけるシミュレーションを通じて、スケーラビリティと精度を実証する。

提案手法

• スパイクアンドスラブ事前分布をガウス成分で使用：活性変数（δⱼ = 1）にはスラブ（精度ρ₁）、非活性変数（δⱼ = 0）にはスパイク（精度ρ₀ → 0）を設定し、ポイントマスを小さな分散のガウス分布に置き換える。
• 後部分布におけるスパース化された準尤度ℓ(θ₆; z)を導入し、θ₆をθとδの要素ごとの積とする。これにより統計的性能を向上させつつ、計算速度を維持する。
• δとθを条件付きで更新するスケーラブルなギブスサンプラーを構築し、メトロポリス・ハスティングス補正を伴う正規分布およびベルヌーイ分布の提案を用いる。
• 平均場テンプレートを用いた変分近似（VA）アルゴリズムを開発し、α（包含確率）、μ（平均）、C（共分散）の更新を行う。固定サポートテンプレートδ^(i)を活用する。
• ベルンシュタイン＝フォン・ミーゼス近似を用いて、後部分布の漸近的正規性を裏付け、変分近似の一貫性を支援する。
• スパース化トリックを活用して、MCMCにおける計算コストを削減し、尤度評価においては非ゼロ成分（活性変数）のみに注目する。

実験結果

リサーチクエスチョン

• RQ1 スパイクアンドスラブ事前分布を用いたスパース化された準尤度は、高次元モデルにおけるMCMCサンプリングをより高速かつスケーラブルに可能にするか？
• RQ2 準後部分布はどのような条件下で真のスパースパラメータおよびそのサポートに集中するか？
• RQ3 後部分布収縮レートは、高次元設定における変分近似の精度をどのように裏付けるか？
• RQ4 提案フレームワークは、スケーラブルな計算を可能にしつつ、最適な頻度的性質（例：変数選択の一貫性）を維持するか？
• RQ5 ガウス graphical モデルおよびスパースPCAのような実世界のモデルにおいて、提案されたMCMCおよび変分アルゴリズムは、計算効率および推定精度の面でどのように比較されるか？

主な発見

• 準尤度におけるスパース化トリックにより、尤度評価における活性変数数を削減することで、MCMCの計算が著しく高速化される。
• 理論的結果により、強い信号条件下で準後部分布が真のパラメータ（δ⋆, θ⋆）に近似的に最適レートで収束することが示された。
• 後部分布収縮レートを用いて、真の後部分布とその変分近似との間のカルバック・ライブラー距離の非漸近的バインドを導出できた。
• 変分近似は、弱い正則性条件の下で、真の後部分布と同等の収束レートを達成し、サポートおよびパラメータ値の一貫した推定が可能である。
• ガウス graphical モデルおよびスパースPCAにおけるシミュレーションでは、提案されたMCMCおよび変分アルゴリズムが、高次元領域においても高い精度と計算効率を達成した。
• 変数選択性能はほぼ最適に近く、次元pが増大するに従い、後部確率質量が真のサポートδ⋆に集中した。