[論文レビュー] Scalable Bayesian shrinkage and uncertainty quantification in high-dimensional regression

Bala Rajaratnam, Doug Sparks+2 more|arXiv (Cornell University)|Mar 27, 2017

Statistical Methods and Inference参考文献 39被引用数 4

ひとこと要約

本稿では、高次元回帰におけるベイズ的縮約に向けた、新規の2段階ブロック化ギブスサンプラーを提案する。標準の3段階ギブスサンプラーに比べて収束が著しく改善され、幾何的エルゴドニシティとトレースクラスのマルコフ作用素を保証することで、不確実性の定量化を高速化し、サンドイッチ型アルゴリズムとの厳密な理論的比較が可能になる。

ABSTRACT

Bayesian shrinkage methods have generated a lot of recent interest as tools for high-dimensional regression and model selection. These methods naturally facilitate tractable uncertainty quantification and incorporation of prior information. A common feature of these models, including the Bayesian lasso, global-local shrinkage priors, and spike-and-slab priors is that the corresponding priors on the regression coefficients can be expressed as scale mixture of normals. While the three-step Gibbs sampler used to sample from the often intractable associated posterior density has been shown to be geometrically ergodic for several of these models (Khare and Hobert, 2013; Pal and Khare, 2014), it has been demonstrated recently that convergence of this sampler can still be quite slow in modern high-dimensional settings despite this apparent theoretical safeguard. We propose a new method to draw from the same posterior via a tractable two-step blocked Gibbs sampler. We demonstrate that our proposed two-step blocked sampler exhibits vastly superior convergence behavior compared to the original three- step sampler in high-dimensional regimes on both real and simulated data. We also provide a detailed theoretical underpinning to the new method in the context of the Bayesian lasso. First, we derive explicit upper bounds for the (geometric) rate of convergence. Furthermore, we demonstrate theoretically that while the original Bayesian lasso chain is not Hilbert-Schmidt, the proposed chain is trace class (and hence Hilbert-Schmidt). The trace class property has useful theoretical and practical implications. It implies that the corresponding Markov operator is compact, and its eigenvalues are summable. It also facilitates a rigorous comparison of the two-step blocked chain with "sandwich" algorithms which aim to improve performance of the two-step chain by inserting an inexpensive extra step.

研究の動機と目的

• 高次元ベイズ的縮約モデルにおける標準的3段階ギブスサンプラーの収束が遅い問題に、幾何的エルゴドニシティが保証されているにもかかわらず対処すること。
• 同じ事後分布を維持するが、高次元設定における混合速度を向上させるより効率的なサンプリングアルゴリズムの開発。
• 新しいサンプラーの理論的基盤を提供すること。収束速度の上限評価と作用素クラスの性質を含む。
• 新しい連鎖がトレースクラスであることを確立することで、サンドイッチ型アルゴリズムとの厳密な比較を可能にすること。
• 実データおよびシミュレートされた高次元データの両方で、優れた経験的性能を示すこと。

提案手法

• 変数のグループ化をより効果的に行うことで混合性を向上させる、2段階のブロック化ギブスサンプラーを提案。
• 新しいサンプラーを用いたベイズ的ラッソの幾何的収束速度に対する明示的な上界を導出。
• 新しいマルコフ連鎖がトレースクラス（したがってヒルベルト＝シュミット）であることを確立。これはコンパクト性と可 summable 固有値を意味する。
• トレースクラス性を活用し、性能向上を図るために補助ステップを挿入するサンドイッチ型アルゴリズムとの理論的比較を可能に。
• スケール混合正規分布表現を活用して、グローバルローカル事前分布およびスパイクアンドスラブ事前分布に本手法を適用。
• マルコフ連鎖理論の理論的道具（特にマルコフ作用素のスペクトル性質）を用いて、収束行動を分析。

実験結果

リサーチクエスチョン

• RQ1 高次元ベイズ的縮約モデルにおいて、標準的3段階サンプラーに比べて2段階ブロック化ギブスサンプラーがより速い収束を達成できるか？
• RQ2 提案された2段階サンプラーの理論的収束速度は何か？ また、元の連鎖と比較してどうなるか？
• RQ3 提案されたマルコフ連鎖はトレースクラスか？ そのスペクトル性質および理論的解析に与える影響は？
• RQ4 新しい連鎖のトレースクラス性が、サンドイッチ型アルゴリズムとの厳密な比較をどのように可能にするか？
• RQ5 実データおよびシミュレートされた高次元データにおいて、新しいサンプラーは元のものに比べて混合性と不確実性の定量化の両面で優れているか？

主な発見

• 提案された2段階ブロック化ギブスサンプラーは、高次元設定において、元の3段階サンプラーに比べて著しく優れた収束行動を示す。
• 幾何的収束速度の明示的上界が導出され、新しいサンプラーでは混合がより速いことが示された。
• 新しいマルコフ連鎖がトレースクラスであることが証明され、コンパクト性と可 summable 固有値を意味する。これは元の連鎖には成立しない。
• トレースクラス性のおかげで、サンドイッチ型アルゴリズムとの厳密な理論的比較が可能になり、収束構造が改善されていることが明らかになった。
• 実データおよびシミュレートされたデータの経験的結果から、新しいサンプラーがより速い混合と改善された不確実性の定量化を達成していることが確認された。
• 本手法は元のものと同じ事後分布を維持しつつ、著しく優れたサンプリング効率を達成している。