[論文レビュー] Scalable MCMC for Bayes Shrinkage Priors

James E. Johndrow, Paulo Orenstein|arXiv (Cornell University)|May 2, 2017

Bayesian Methods and Mixture Models被引用数 11

ひとこと要約

本稿では、ベイズスリッジングプライヤーを用いたベイジアン高次元モデルに対するスケーラブルなMCMCアルゴリズムを提案する。ブロック化ギブス、メトロポリス・ハスティングス、スライスサンプリングを組み合わせることで、同じ計算コストにおいて、既存手法と比較して有効サンプルサイズが50〜100倍も向上し、次元が増加するに従って収束速度の低下が著しく遅くなる。これにより、最大20,000個の予測子を有する問題においても、効率的な推論が可能になる。

ABSTRACT

Gaussian scale mixture priors are frequently employed in Bayesian analysis of high-dimensional models, and a theoretical literature exists showing optimal risk properties of several members of this family in $p \gg n$ settings when the truth is sparse. However, while implementations of frequentist methods such as the Lasso can scale to dimension in the hundreds of thousands, corresponding Bayesian methods that use MCMC for computation are often limited to problems at least an order of magnitude smaller. This is in large part due to convergence toward unity of the spectral gap of the associated Markov kernel as the dimension grows. Here we propose an MCMC algorithm for computation in these models that combines blocked Gibbs, Metropolis-Hastings, and slice sampling. Our algorithm has computational cost per step comparable to the best existing alternatives, but superior convergence properties, giving effective sample sizes of 50 to 100 fold larger for identical computation time. Moreover, the convergence rate of our algorithm deteriorates much more slowly than alternatives as the dimension grows. We illustrate the scalability of the algorithm in simulations with up to 20,000 predictors.

研究の動機と目的

• ガウススケール混合プライヤーを有する高次元ベイジアンモデルにおけるMCMCのスケーラビリティのボトルネックを解消すること。
• 次元が増加するに従って、既存のMCMC手法におけるスペクトルギャップと収束速度の急激な劣化を克服すること。
• 高次元設定において、計算時間単位あたりの高い有効サンプルサイズを維持できるMCMCアルゴリズムを開発すること。
• Lassoのような頻度主義的手法が効率的にスケーリングできるが、ベイジアンMCMC手法ではスケーリングできない、$p \gg n$の問題における実用的なベイジアン推論を可能にすること。

提案手法

• パラメータのブロックを効率的に更新するため、ブロック化ギブスサンプリングを採用する。
• 混合性の向上を図るため、新たな状態を提案するメトロポリス・ハスティングスステップを統合する。
• 導関数情報が不要な状態で、スリッジングプライヤーのスケール混合構造を扱えるよう、スライスサンプリングを組み込む。
• ランダムウォーク行動の低減と幾何的エルゴード性の向上により、良好なスペクトルギャップを維持するように設計する。
• 1イテレーションあたりの計算コストは既存手法と同等に保ちつつ、収束特性を著しく向上させる。
• スパースな真のモデル構造を活用し、ベイズスリッジングプライヤーの構造を活かして混合性と有効サンプルサイズを向上させるようにアルゴリズムを最適化する。

実験結果

リサーチクエスチョン

• RQ1 高次元スリッジングプライヤーに対するMCMCは、数万の予測子に対してスケーラブルに可能か？
• RQ2 提案手法のMCMCアルゴリズムは、計算時間単位あたりの有効サンプルサイズにおいて、既存手法と比較してどのように異なるか？
• RQ3 本手法の収束速度は、次元が増加するに従って、既存の代替手法と比較してよりゆっくり劣化するか？
• RQ4 高次元スパースモデルにおいて、本手法はどの程度高い混合効率を維持できるか？

主な発見

• 提案されたMCMCアルゴリズムは、同じ計算コストにおいて、既存手法と比較して有効サンプルサイズが50〜100倍も向上する。
• 本手法の収束速度は、次元が増加するに従って、代替MCMC手法と比較して著しくゆっくり劣化する。
• 本手法は、最大20,000個の予測子を有する問題に対しても、効果的にスケーリングでき、高次元設定における実用的妥当性を示している。
• ブロック化ギブス、メトロポリス・ハスティングス、スライスサンプリングの組み合わせにより、優れた混合性とランダムウォーク行動の低減が達成されている。