[論文レビュー] Nearly optimal Bayesian Shrinkage for High Dimensional Regression

Qifan Song, Faming Liang|arXiv (Cornell University)|Dec 24, 2017

Statistical Methods and Inference参考文献 51被引用数 49

ひとこと要約

本稿は、ゼロの周りに質量を集中させる重たい尾を持つ平坦な尾のスリミング・プライアを用いた高次元線形回帰において、事後的一致性およびほぼ最適な収縮率を確立する。これらのプライアは、計算的に効率的なMCMCサンプリングを伴い、スパイクアンドスラブ型の理論的性能を達成できることを示しており、一貫した変数選択と、ベルンシュタイン＝フォン・ミーゼス型の結果による有効な不確実性の定量化を可能にする。

ABSTRACT

During the past decade, shrinkage priors have received much attention in Bayesian analysis of high-dimensional data. This paper establishes the posterior consistency for high-dimensional linear regression with a class of shrinkage priors, which has a heavy and flat tail and allocates a sufficiently large probability mass in a very small neighborhood of zero. While enjoying its efficiency in posterior simulations, the shrinkage prior can lead to a nearly optimal posterior contraction rate and variable selection consistency as the spike-and-slab prior. Our numerical results show that under the posterior consistency, Bayesian methods can yield much better results in variable selection than the regularization methods such as Lasso and SCAD. This paper also establishes a Bernstein von-Mises type result, which leads to a convenient way of uncertainty quantification for regression coefficient estimates.

研究の動機と目的

• 広範なスリミング・プライアのクラスに対して、高次元線形回帰における事後的一致性を確立すること。
• 重たい尾と平坦な尾を持つプライアが、スパイクアンドスラブ・プライアと同等のほぼ最適な事後的収縮率を達成できることを示すこと。
• スパイクアンドスラブ・プライアの代替として、次元を越えて変化するMCMCサンプリングを避けることで、計算的に効率的な手法を提供すること。
• 高次元回帰における不確実性の定量化のためのベルンシュタイン＝フォン・ミーゼス型の結果を確立すること。
• Lasso や SCAD などの頻度主義的正則化法と比較して、数値的実験を通じて優れた変数選択性能を示すことで、手法の妥当性を検証すること。

提案手法

• 重たい尾と平坦な尾を持つ絶対連続的スリミング・プライアのクラスを分析し、ゼロの周辺に顕著な質量を割り当てる。
• 事後的一致性および最適な収縮率を達成するための十分条件を導出する。具体的には、多項式的尾と次元の増加に伴い減少するスケール・パラメータの条件を提示する。
• 階層的プライア構造を採用し、グローバルおよびローカルのスリミング・パラメータをBICに類似した基準により調整する。
• 事後計算にはギブス・サンプリングを用い、大規模な設定におけるスケーラビリティを高めるために確率的勾配MCMCへの拡張も行う。
• ベルンシュタイン＝フォン・ミーゼス型の結果を確立し、真の係数の事後信用区間が漸近的にオラクル区間と同等であることを示す。
• 理論的分析では、共変数間の依存性を考慮し、i.i.d. 正規平均モデルとは区別される回帰モデルの特徴を扱う。

実験結果

リサーチクエスチョン

• RQ1 重たい尾と平坦な尾を持つスリミング・プライアは、高次元線形回帰において、事後的一致性およびほぼ最適な収縮率を達成できるか？
• RQ2 このようなスリミング・プライアの性能は、変数選択および推定精度の観点から、スパイクアンドスラブ・プライアと比べてどうか？
• RQ3 スリミング・プライアに対してベルンシュタイン＝フォン・ミーゼス型の結果を確立でき、高次元設定における有効な不確実性の定量化を可能にするか？
• RQ4 どのようなプライア分布の条件下で、$ p > n $ の場合に一貫した変数選択が保証されるか？
• RQ5 Lasso と同等の計算効率を達成しつつ、スパイクアンドスラブ・プライアの理論的最適性を維持できるか？

主な発見

• 提案されたスリミング・プライアにおける事後的収縮率は、ほぼ最適であり、高次元回帰の理論的下界と一致する。
• 重たい尾を持つプライアがゼロの周辺に十分な質量を有し、$ p_n $ の増加に伴いスケール・パラメータが減少するというやや緩い条件下で、事後的一致性が確立される。
• 変数選択の一貫性が達成され、標本サイズが増加するにつれて、真のモデルの事後確率が1に収束する。
• ベルンシュタイン＝フォン・ミーゼス型の結果が成立し、真の係数の信用区間が漸近的にオラクル信頼区間と同等であることを示す。
• 数値的結果から、ベイズ的スリミング法が、Lasso や SCAD よりも顕著に優れた変数選択の正確性を示す。特に高次元設定において顕著である。
• ホースシュー・プライアは、その人気にもかかわらず、スパイクアンドスラブ・プライアの理論的最適性を維持するには、グローバル・スリミング・パラメータの慎重な調整が不可欠であることが、高次元回帰における誤検出の原因となることから明らかになる。