[論文レビュー] Extended Stochastic Gradient MCMC for Large-Scale Bayesian Variable Selection

Qifan Song, Yan Sun+2 more|arXiv (Cornell University)|Feb 7, 2020

Markov Chains and Monte Carlo Methods参考文献 7被引用数 4

ひとこと要約

本稿では、次元変動モデルおよび欠損データを伴う高次元・大規模設定におけるスケーラブルなベイズ変数選択を可能にする、潜在変数を組み込んだ拡張された確率的勾配ランジュヴィアンダイナミクス（SGLD）アルゴリズムを提案する。ミニバッチサブサンプリングと潜在変数の拡張を活用することで、反復ごとのデータ使用量が固定で、パラメータ分布の下界が不要な効率的かつ一貫性のある事後分布推定が達成され、従来のMCMCおよび既存のスケーラブルな代替手法に比べてスケーラビリティと実用性において顕著に優れている。

ABSTRACT

Stochastic gradient Markov chain Monte Carlo (MCMC) algorithms have received much attention in Bayesian computing for big data problems, but they are only applicable to a small class of problems for which the parameter space has a fixed dimension and the log-posterior density is differentiable with respect to the parameters. This paper proposes an extended stochastic gradient MCMC lgoriathm which, by introducing appropriate latent variables, can be applied to more general large-scale Bayesian computing problems, such as those involving dimension jumping and missing data. Numerical studies show that the proposed algorithm is highly scalable and much more efficient than traditional MCMC algorithms. The proposed algorithms have much alleviated the pain of Bayesian methods in big data computing.

研究の動機と目的

• 既存の確率的勾配MCMC手法が固定次元・微分可能事後分布問題に限定されているという限界を解消すること。
• パラメータ次元が反復ごとに変化する変数選択および欠損データを含む大規模設定におけるスケーラブルなベイズ推論を可能にすること。
• 反復ごとのデータサンプルサイズを固定することで計算効率を維持し、変動するデータ消費量や下界要件を回避すること。
• 高次元および大標本の設定下で一貫性のある事後分布推定を達成し、真の事後分布への収束を保証すること。

提案手法

• 変数選択におけるモデルインジケータや欠損データの値といった潜在変数を導入し、事後分布を再パrameter化することで、次元が変化する空間における勾配ベースのサンプリングを可能にする。
• パラメータに関する事後分布の対数の勾配を潜在変数の条件下で一般化した恒等式を導出し、確率的勾配更新を可能にする。
• ミニバッチデータを用いて勾配を推定することで、反復ごとの計算コストが固定となるように、確率的勾配ランジュヴィアンダイナミクス（SGLD）を適応的に拡張する。
• 平均値の定理と集中不等式を用いて、全データとミニバッチの事後確率の差をバインドし、漸近的の一貫性を示す。
• 大数の法則と中心極限定理を用いて、事後モデル確率の経験的平均の収束を、正則性条件下で真の事後分布へと証明する。
• 二段階のサンプリングスキームを採用：内側ループではパラメータが与えられたもとでのモデルインジケータのサンプリング、外側ループではミニバッチ勾配を用いたSGLDによるパラメータ更新。

実験結果

リサーチクエスチョン

• RQ1 反復ごとにパラメータ数が変化する高次元ベイズ変数選択問題において、確率的勾配MCMCを拡張可能か？
• RQ2 後続次元が変化し、データが大規模な状況下で、スケーラブルなMCMCアルゴリズムが一貫性と効率性を維持できるか？
• RQ3 次元変動モデルにおいて、ミニバッチベースの事後推定が真の事後分布へ収束するための条件は何か？
• RQ4 提案手法は、実際には実行不可能な場合が多いパラメータ分布の下界要件を回避できるか？
• RQ5 収束性と計算コストの観点から、従来のMCMCおよび他のスケーラブルな代替手法と比較して、アルゴリズムの性能はいかがなものか？

主な発見

• 提案された拡張SGLDアルゴリズムは、事後モデル確率の一致推定を達成し、反復数 $ T $ と標本サイズ $ N $ が増加するにつれて、経験的平均が真の事後分布に収束する。
• 任意のモデル $ S $ について、ミニバッチと全データの事後確率の差は $ \exp(-N\delta/2) + 1/|\mathcal{S}|^{\nu} $ でバインドされ、$ p \prec n \leq N $ の下で 0 に収束する。
• 本手法は反復ごとのデータ消費量が固定であるため、データ使用量が変動するミニバッチメトロポリス・ハスティングス法とは異なり、スケーラビリティが著しく向上する。
• 本手法はパラメータ分布の下界を必要としないため、正確なミニバッチメトロポリス・ハスティングス法の主要な制限を克服する。
• 数値実験により、本手法は非常にスケーラブルであり、特に高次元変数選択設定において従来のMCMCに比べて著しく効率的であることが確認された。
• 経験的モデル確率推定器の収束速度は $ O_p(T^{-1/2}) + \exp(-N\delta/2) + O_p(m^{-1/2}) $ であり、$ T, N \to \infty $ の下で消えていくため、漸近的不偏性が保証される。