[論文レビュー] Bayesian linear regression with sparse priors

Ismaël Castillo, J. Schmidt-Hieber+1 more|arXiv (Cornell University)|Mar 4, 2014

Fault Detection and Control Systems被引用数 28

ひとこと要約

本稿は、スパースな事前分布（ゼロにおけるデルタ関数と連続分布の混合）を用いた高次元線形回帰における完全ベイズ推論を検討する。パラメータ推定および予測のための最適な事後収縮率を確立し、モデル選択の一貫性を証明し、信用区間のための漸近的正規近似を導出し、設計行列に適合性条件が成り立つ場合に、頻度的性能が最適化されることを示している。

ABSTRACT

We study full Bayesian procedures for high-dimensional linear regression under sparsity constraints. The prior is a mixture of point masses at zero and continuous distributions. Under compatibility conditions on the design matrix, the posterior distribution is shown to contract at the optimal rate for recovery of the unknown sparse vector, and to give optimal prediction of the response vector. It is also shown to select the correct sparse model, or at least the coefficients that are significantly different from zero. The asymptotic shape of the posterior distribution is characterized and employed to the construction and study of credible sets for uncertainty quantification.

研究の動機と目的

• スパarsity制約の下での高次元線形回帰に対する完全ベイズ手順の開発。
• スパースなパラメーターベクトル β の推定および応答 Y の予測のための最適な事後収縮率の確立。
• 事後分布が真のスパースモデル、またはゼロでない係数を一貫して選択することの証明。
• 不確実性の定量化のための信用区間を用いた、事後分布の漸近的形状の特定。
• LASSOは本質的に非ベイズ的であるものの、LASSOと同等の最適な頻度的性能を達成することの証明。

提案手法

• S が共変数の有効な集合を選択するように、(S, β) に階層的事前分布を適用し、βS は同一指数分布（例：ラプラス）の積から抽出され、βSc = 0 ほぼ surely となる。
• モデルサイズ s に対する事前分布 πp(s) を、s に関して指数関数よりわずかに速く減少するように設定し、スパarsity を誘導する。
• ラプラス事前分布の具体的な形を用いて、事後比を直接分析し、収縮率を導出する。
• 設計行列 X に対して適合性および最小スパース固有値条件を適用し、推定および予測の一貫性を保証する。
• 事後分布の分布的近似を用いて、信用区間のためのベルンシュタイン＝フォン・ミーゼス型結果を導出する。
• 指数的検定およびエントロピーの上限を用いて、特に高次元設定において事後濃度を制御する。

実験結果

リサーチクエスチョン

• RQ1 スパース事前分布を用いた完全ベイズ手順は、スパarsity 条件の下で、高次元線形回帰における最適な事後収縮率を達成できるか？
• RQ2 事後分布は真のスパースモデル、またはゼロでない係数を一貫して選択するか？
• RQ3 事後分布の漸近的形状はどのように振る舞い、不確実性の定量化のための有効な信用区間を構築するために利用できるか？
• RQ4 設計行列にどのような条件が成り立つと、事後の頻度的性能が最適化されるか？
• RQ5 推定および予測精度の観点から、このベイズ的手法は LASSO とどのように比較できるか？

主な発見

• 適合性および最小スパース固有値条件のもとで、スパースパラメーターベクトル β の推定において、事後分布は最適なレートで収縮する。
• 事後分布は最適な予測性能を達成し、事後平均が真の平均 Xβ0 に対してミニマックスレートで収束する。
• 事後分布は真のモデル、または少なくともゼロでない係数を一貫して選択し、真にゼロでない係数を含む確率は 1 に収束する。
• 事後分布の漸近的形状は、部分モデルに対するベルンシュタイン＝フォン・ミーゼス近似の混合物であり、信用区間による有効な不確実性の定量化を可能にする。
• M が大きい場合、|β0_m| ≥ M√log p / ||X|| を満たす真の非ゼロ係数 β0_m を除外する事後確率は多項式的に減少し、一貫性のある選択を保証する。
• LASSO は事後モードを表すが、完全な事後分布を表さないため、LASSO は本質的に非ベイズ的であると示されており、本手法はベイズ的観点から LASSO を上回る。