[論文レビュー] Fast Marginal Likelihood Estimation of the Ridge Parameter(s) in Ridge Regression and Generalized Ridge Regression for Big Data

George Karabatsos|arXiv (Cornell University)|Sep 8, 2014

Statistical and numerical algorithms参考文献 45被引用数 5

ひとこと要約

本稿では、特異値分解（SVD）を活用することで、大規模または高次元データ（p > n）に対しても効率的な計算が可能な、リッジ回帰（RR）、パワー・リッジ回帰（PRR）、一般化リッジ回帰（GRR）モデルにおけるリッジ係数の高速な周辺最尤（MML）推定法を提案する。MMLアプローチは、交差検証、MCMC、情報量基準に基づく手法よりも高速かつ予測精度に優れ、ベイズ的GRRモデルは、顕著な予測変数を検出する上で優れた周辺尤度と頑健性を示す。

ABSTRACT

Unlike the ordinary least-squares (OLS) estimator for the linear model, a ridge regression linear model provides coefficient estimates via shrinkage, usually with improved mean-square and prediction error. This is true especially when the observed design matrix is ill-conditioned or singular, either as a result of highly-correlated covariates or the number of covariates exceeding the sample size. This paper introduces novel and fast marginal maximum likelihood (MML) algorithms for estimating the shrinkage parameter(s) for the Bayesian ridge and power ridge regression models, and an automatic plug-in MML estimator for the Bayesian generalized ridge regression model. With the aid of the singular value decomposition of the observed covariate design matrix, these MML estimation methods are quite fast even for data sets where either the sample size (n) or the number of covariates (p) is very large, and even when p>n. On several real data sets varying widely in terms of n and p, the computation times of the MML estimation methods for the three ridge models, respectively, are compared with the times of other methods for estimating the shrinkage parameter in ridge, LASSO and Elastic Net (EN) models, with the other methods based on minimizing prediction error according to cross-validation or information criteria. Also, the ridge, LASSO, and EN models, and their associated estimation methods, are compared in terms of prediction accuracy. Furthermore, a simulation study compares the ridge models under MML estimation, against the LASSO and EN models, in terms of their ability to differentiate between truly-significant covariates (i.e., with non-zero slope coefficients) and truly-insignificant covariates (with zero coefficients).

研究の動機と目的

• 大規模データ環境下における従来のリッジ係数推定法（交差検証やMCMCなど）の計算非効率性を解消すること。
• 特にp > nまたは設計行列が悪条件である場合に適した、ベイズ的RR, PRR, GRRモデルにおけるリッジ係数推定の高速かつスケーラブルな手法の開発。
• LASSOやエラスティック・ネットと比較して、真に有意な共変数と有意でない共変数を区別するための予測性能および統計的パワーの向上。
• 繰り返し最適化を回避するための閉形式・即時代入型MML推定量を一般化リッジ回帰モデルに提供すること。
• 実データおよびシミュレートデータを用いて、MMLに基づくリッジモデルが周辺尤度、予測誤差、変数選択の正確性において優れていることを示すこと。

提案手法

• 設計行列 X = UDWᵀ の特異値分解（SVD）を用い、回帰問題を直交空間に変換することで、MML推定量の高速計算を可能にする。
• SVDの各成分を用いた反復最適化により、ベイズ的RRおよびPRRにおけるリッジ係数の周辺最尤（MML）推定量を導出する。
• リッジ係数に一様事前分布を仮定したもとで、一般化リッジ回帰（GRR）モデルに対する閉形式・自動即時代入型MML推定量を導入する。
• ベイズ因子を用いてリッジ係数の値を比較し、周辺尤度を最大化する値を最適推定量として選択する。
• 行列の逆行列や行列式の計算を避けるために、SVDを用いて回帰係数および誤差分散の事後平均および分散を効率的に計算する。
• 変数選択および有意性検定のために、事後基準統計量（事後四分位範囲基準、95%事後区間、SN基準）を用いる。

実験結果

リサーチクエスチョン

• RQ1 SVDを用いることで、大規模または高次元データ（p > n）におけるリッジ係数のMML推定を計算的に効率的に行えるか？
• RQ2 GIC(λ) や修正BIC(λ) で推定されたLASSOやエラスティック・ネットと比較して、MMLに基づくリッジ回帰の予測精度はどの程度高いか？
• RQ3 MMLで推定されたパrameterを有する一般化リッジ回帰モデルは、標準的RRおよびPRRよりも周辺尤度および変数選択において優れているか？
• RQ4 MMLに基づく事後基準統計量は、GIC(λ) や修正BIC(λ) の最小化基準下で、LASSO や EN と比較して真の非ゼロ係数を検出する感度および特異度を高められるか？
• RQ5 提案されたGRRの閉形式即時代入推定量は、反復的代替手法と比較して正確かつ高速であるか？

主な発見

• 10個の実データセット（nおよびpが数百から数千）において、RR, PRR, GRRモデルのMML推定法は、交差検証、MCMC、GIC/BICに基づく手法と比較して著しく高速であった。
• ベイズ的GRRモデルは、10個の実データセットの半数以上で最高の周辺尤度を達成し、RRおよびPRRと比較してより良いモデル適合を示した。
• MML推定を用いた3つのリッジモデル（RR, PRR, GRR）は、10分割交差検証による平均二乗予測誤差の観点で、LASSOおよびエラスティック・ネットを常に上回った。
• 固有値が小さい主成分が応答変数と顕著に相関している場合、PRRモデルは標準的RRモデルに比べて優れた予測性能を示した。
• MML推定リッジモデルにおける事後基準統計量（例：95%事後区間、SN基準）は、GIC(λ) や修正BIC(λ) の最小化基準下でLASSOやENと比較して、真の非ゼロ係数を検出する感度および特異度が高かった。
• MMLに基づくRR, PRR, GRRモデルを実装した、無料でメニュー駆動型のソフトウェアパッケージが公開されており、研究で使用した例の出力結果およびデータセットも含まれている。