[論文レビュー] Fast Marginal Likelihood Estimation of the Ridge Parameter in Ridge Regression

George Karabatsos|arXiv (Cornell University)|Jan 1, 2015

Control Systems and Identification参考文献 35被引用数 3

ひとこと要約

本稿では、特異値分解（SVD）を用いて周辺尤度を簡略化することで、行列の行列式や逆行列の計算コストを回避し、リッジ回帰におけるリッジ係数の推定を高速かつ計算的に効率的に行う手法を提案する。この手法により、高次元データに対してもほぼ即時の最適化（通常0.1秒未塔）が可能となり、ベイズ尤度比による比較において、他のリッジ係数推定法を上回るベイズ経験ベイズ後部確率密度のモードが得られる。

ABSTRACT

Ridge regression provides coefficient estimates via shrinkage, even when the observed design matrix contains correlated covariates, or when it is singular, as when the number of covariates exceeds the number of observations. This shrinking usually improve predictions in the linear model, compared to ordinary least-squares. However, the estimation and prediction accuracy of the ridge model depend on the choice of the ridge parameter. The current approaches to estimating the ridge parameter are based on minimizing cross-validation or information loss criteria, which are either computationally expensive or asymptotically inconsistent, and can only approximate (−2 times the log-) marginal likelihood of the model parameters. The marginal likelihood depends on a matrix determinant, which is computationally demanding when the number of covariates is large. This paper shows that after taking a singular value decomposition of the design matrix, the marginal likelihood can be simplified into an equation involving no matrix operations such as determinants or inverses. This simplification allows for a fast estimation of the ridge parameter based on a simple optimization algorithm, which typically completes in less than one-tenth of a second, even for data sets where the number of covariates and/or sample size is very large. Also, the marginal likelihood estimate of the ridge parameter is the “Bayes empirical Bayes” posterior mode, and is preferred according to the Bayes factor, over pair-wise comparisons of all possible ridge parameter estimates. We illustrate the speed and viability of the ridge parameter estimation method through the analysis of several real data sets, involving hundreds to several thousand covariates and observations, and involving more covariates than

研究の動機と目的

• 説明変数の数が多い場合に、リッジ回帰における周辺尤度推定が計算的に非現実的になる問題に対処すること。
• 交差検証における高い計算コストや情報量基準における漸近的不一致といった、既存のリッジ係数推定手法の限界を克服すること。
• 行列式や逆行列を回避する、周辺尤度を正確かつ高速に計算する手法を開発すること。
• リッジ係数のための計算的に効率的な代替手法を提供し、ベイズ経験ベイズ後部確率密度のモードを導出すること。
• 実世界のデータ解析を通じて、本手法の高速性と統計的優位性を実証すること。

提案手法

• 設計行列に特異値分解（SVD）を適用し、直交成分と特異値に分解すること。
• 周辺尤度の式を特異値に基づいて再表現することで、行列式や逆行列の必要性を排除すること。
• 対数周辺尤度関数を特異値とリッジ係数にのみ依存する形に簡略化すること。
• 単純な最適化アルゴリズムを用いて、簡略化された周辺尤度関数を最大化し、リッジ係数を推定すること。
• 得られた推定値を、ベイズ尤度比比較による統計的優位性が認められるベイズ経験ベイズ後部確率密度のモードとして活用すること。
• 数百～数千の説明変数と観測値を含む実データセットを用いて、本手法の妥当性を検証すること。特に、説明変数の数が観測数を上回るケースも含む。

実験結果

リサーチクエスチョン

• RQ1 リッジ回帰における周辺尤度は、行列式や逆行列の計算を回避できるように、SVDを用いて簡略化可能か？
• RQ2 簡略化された周辺尤度は、高次元設定下でも高速かつ正確なリッジ係数推定を可能にするか？
• RQ3 得られるリッジ係数推定値は、ベイズ尤度比による測定において、他の推定法を上回る統計的優位性を示すか？
• RQ4 本手法の計算速度は、交差検証や情報量基準といった既存手法と比較してどの程度優れているか？
• RQ5 説明変数の数が観測数を上回る場合でも、本手法は有効かつ効率的であるか？

主な発見

• SVDを用いることで、周辺尤度を行列式や逆行列を必要としない形に再表現でき、計算複雑度が著しく低減される。
• 簡略化された周辺尤度により、数千の説明変数を含むデータセットに対しても、リッジ係数の最適化が0.1秒未塔で実行可能である。
• 推定されたリッジ係数は、ベイズ尤度比比較による統計的優位性が認められるベイズ経験ベイズ後部確率密度のモードに対応する。
• 説明変数の数が観測数を上回る高次元設定下でも、本手法は有効かつ計算的に実行可能である。
• 計算速度と統計的整合性の両面で、従来手法を上回り、交差検証や情報量基準の実用的代替手段を提供する。