[論文レビュー] Bayesian model selection in Gaussian regression

Felix Abramovich, Vadim Grinshtein|arXiv (Cornell University)|Dec 22, 2009

Statistical Methods and Inference被引用数 1

ひとこと要約

本稿は、予測変数が高次元であるガウス線形回帰におけるベイジアンモデル選択手法を提案し、モデルサイズの事前分布から導かれる複雑さペナルティを用いる。スパースおよびデュースな設定下でも、マルチコリネアリティを伴う設計下においても、オラクル不等式と漸近的ミニマックス性を用いて理論的最適性を確立する。

ABSTRACT

We consider a Bayesian approach to model selection in Gaussian linear regression, where the number of predictors might be much larger than the number of observations. From a frequentist view, the proposed procedure results in the penalized least squares estimation with a complexity penalty associated with a prior on the model size. We investigate the optimality properties of the resulting estimator. We establish the oracle inequality and specify conditions on the prior that imply its asymptotic minimaxity within a wide range of sparse and dense settings for “nearly-orthogonal ” and “multicollinear ” designs. 1

研究の動機と目的

• p ≫ n の高次元ガウス線形回帰におけるモデル選択のためのベイジアンフレームワークの構築を目的とする。
• 複雑さペナルティを伴う罰則付き最小二乗法に相当することを示すことにより、ベイジアンと頻度主義の視点を統合する。
• 得られた推定量の理論的最適性を、スパースおよびデュースな回帰設定の両方で確立すること。
• 「ほぼ直交」および「マルチコリネアリティを示す」設計下で漸近的ミニマックス性を保証するための事前分布の条件を調査すること。

提案手法

• モデルサイズに階層的事前分布を導入することで、周辺尤度に複雑さペナルティを誘導する。
• モデル選択は周辺尤度の最大化により実行され、データに依存するペナルティを伴う罰則付き最小二乗法に等価である。
• ペナルティ項はモデルサイズの事前分布に由来し、ベイジアン周辺化と頻度主義正則化を結びつける。
• 理論的分析では、集中不等式とエントロピー条件を用いて推定リスクの上限を導出する。
• 近似的直交設計行列およびマルチコリネアリティを示す設計行列の両方に対して、アプローチを適用し、ロバストネスを評価する。
• 理論的保証は、推定量のリスクを最適なモデルのリスクと比較するオラクル不等式を用いて導出される。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンモデル選択手順は、高次元ガウス回帰においてどのような条件下でミニマックス最適推定リスクを達成するか？
• RQ2 モデルサイズの事前分布の選択が、得られる推定量の頻度主義的性質にどのように影響するか？
• RQ3 ベイジアン手順は、スパースおよびデュースな回帰設定の両方で最適性を維持できるか？
• RQ4 マルチコリネアリティは、ベイジアンモデル選択手法の性能にどのような影響を及ぼすか？
• RQ5 この手法は、最良の可能なモデルに対するリスクをバインドするオラクル不等式を達成するか？

主な発見

• ベイジアンモデル選択手順はオラクル不等式を達成しており、最良の可能なモデルのリスクに対して対数因子の範囲内に推定リスクが収束する。
• この手法は、広範なモデルクラスにおいて漸近的にミニマックス的である。スパースおよびデュースな設定を含む。
• 「ほぼ直交」および「マルチコリネアリティを示す」設計行列の両方で最適性が保証され、ロバストネスが示された。
• 事前分布が誘導する複雑さペナルティにより、未知のスパarsityレベルに適応する推定量が得られる。
• 設計行列に対する仮定を最小限に抑え、一般の高次元設定へ拡張可能な理論的保証が確立された。
• 罰則付き最小二乗法との正式な関係が確立され、ベイジアンアプローチが最適リスク特性を有する頻度主義推定量を生成することを示した。