[論文レビュー] Grouping Priors and the Bayesian Elastic Net

Luke Bornn, Raphaël Gottardo+1 more|arXiv (Cornell University)|Jan 22, 2010

Advanced Statistical Methods and Models参考文献 10被引用数 16

ひとこと要約

本論文は、ラプラス事前分布のスパarsityとガウス事前分布のグループ化効果を組み合わせた2つの新しいベイジアン事前分布—ベイジアンエラスティックネットとLq事前分布—を提案する。最適な縮小を決定するための交差検証を用い、ベイジアンエラスティックネットは予測精度およびグループ化性能において、ラプラス事前分布やガウス事前分布を上回り、特に相関が高く次元が大きい設定下で顕著な優位性を示す。

ABSTRACT

In the literature surrounding Bayesian penalized regression, the two primary choices of prior distribution on the regression coefficients are zero-mean Gaussian and Laplace. While both have been compared numerically and theoretically, there remains little guidance on which to use in real-life situations. We propose two viable solutions to this problem in the form of prior distributions which combine and compromise between Laplace and Gaussian priors, respectively. Through cross-validation the prior which optimizes prediction performance is automatically selected. We then demonstrate the improved performance of these new prior distributions relative to Laplace and Gaussian priors in both a simulated and experimental environment.

研究の動機と目的

• ベイジアンラッソ（ラプラス事前分布）にグループ化効果が欠如していること、特に相関の高い予測変数に対して類似した係数が割り当てられないことに対処する。
• 次元が非常に高い設定下で、不十分な縮小により過学習が生じるため、ガウス事前分布の性能が劣ることを克服する。
• スパarsity（ラプラスに似た）とグループ化（ガウスに似た）を両立させるベイジアン事前分布を開発し、予測および変数選択の両面で性能を向上させる。
• シミュレーションおよび実データを用いて、提案された事前分布が、予測精度およびグループ化の一貫性において、既存手法を上回ることを示す。
• 頻度主義のエラスティックネットに対する計算的に実行可能で、相関の高い予測変数が存在する状況で優れた性能を示すベイジアン代替手法を提供する。

提案手法

• L1およびL2正則化を階層的混合ガウス分布を用いて組み合わせた新しい事前分布（ベイジアンエラスティックネット）を提案し、相関する変数の自動的縮小およびグループ化を可能にする。
• ブリッジ回帰の挙動を実現するため、正規分布のスケール混合を用いたLq事前分布を導入し、ラプラスとガウスの特性の間で柔軟な縮小を可能にする。
• 特にLq事前分布のための事後分布を近似するために、ギブスサンプリングとメトロポリス・ハスティングス手順を含むマルコフ連鎖モンテカルロ（MCMC）を用いる。
• 予測性能に基づいて最適な事前分布を選択するため、ハイパーパrameterをチューニングする目的で交差検証を適用し、データ駆動型のモデル選択を実現する。
• MAP推定および事後平均／中央値推定を用いて、係数の縮小およびグループ化挙動を評価する。
• シミュレーションおよび実データ（前立腺がんデータセット）を用いて、最小二乗法、ラッソ、エラスティックネット、ガウス事前分布、ベイジアンラッソ、Lq、ベイジアンエラスティックネットの全手法を比較する。

実験結果

リサーチクエスチョン

• RQ1 高次元回帰において、スパarsityとグループ化効果を同時に達成できるベイジアン事前分布を設計できるか？
• RQ2 予測精度およびグループ化性能の観点から、ベイジアンエラスティックネットは頻度主義のエラスティックネットおよび他のベイジアン事前分布と比較してどのように性能を発揮するか？
• RQ3 Lq事前分布は、次元が非常に高い設定下で、ラプラスおよびガウス事前分布よりも優れた縮小および変数選択を実現できるか？
• RQ4 予測変数の次元が増加し、相関が高くなる状況下で、提案された事前分布のグループ化効果はどのように変化するか？
• RQ5 ベイジアンエラスティックネットは、計算的に実行可能であり、他の正則化回帰手法と比較して実際の応用において優れているか？

主な発見

• 前立腺がんデータセットにおいて、ベイジアンエラスティックネットは全手法の中で最も優れた予測性能を示し、平均二乗誤差（MSE）は0.3874であった。これはLq事前分布の0.3838をわずかに上回った。
• p=100の場合、ガウス事前分布は著しい性能低下を示し、次元が非常に高い状況下で、不要な変数の影響を効果的に抑制できないことが明らかになった。
• ラッソおよびLq事前分布手法では、グループ化が不安定であり、一部の相関する変数が真の係数値±0.5から最大10単位もずれていた。
• 次元が増加する中でも、ベイジアンエラスティックネットは強いグループ化性能を維持し、予測変数間の高い相関に対して頑健であることが示された。
• 特に次元が高く、相関の高い状況下では、ベイジアンラッソおよびガウス事前分布よりも、予測精度およびグループ化の一貫性の両面でベイジアンエラスティックネットが優れていた。
• 計算コストが高めであるものの、予測変数が強く相関すると予想される状況では、ベイジアンエラスティックネットが全体として最も効果的な手法であることが判明した。