[論文レビュー] Lecture notes on ridge regression

Wessel N. van Wieringen|arXiv (Cornell University)|Sep 30, 2015

Fault Detection and Control Systems被引用数 63

ひとこと要約

この包括的な講義ノートは、p > n の高次元線形回帰問題に対してリッジ回帰を解決策として提示し、縮小推定、バイアス-バリアンスのトレードオフ、ベイズ的手法との関連性に重点を置いている。推定、仮説検定、正則化技術について詳細に説明しており、交差検証や情報基準を用いたペナルティ選択を含む理論的導出と、ゲノミクスおよび高次元データ解析における実用的応用を併記している。

ABSTRACT

The linear regression model cannot be fitted to high-dimensional data, as the high-dimensionality brings about empirical non-identifiability. Penalized regression overcomes this non-identifiability by augmentation of the loss function by a penalty (i.e. a function of regression coefficients). The ridge penalty is the sum of squared regression coefficients, giving rise to ridge regression. Here many aspect of ridge regression are reviewed e.g. moments, mean squared error, its equivalence to constrained estimation, and its relation to Bayesian regression. Finally, its behaviour and use are illustrated in simulation and on omics data. Subsequently, ridge regression is generalized to allow for a more general penalty. The ridge penalization framework is then translated to logistic regression and its properties are shown to carry over. To contrast ridge penalized estimation, the final chapters introduce its lasso counterpart and generalizations thereof.

研究の動機と目的

• 予測子の数 p がサンプル数 n を上回る高次元線形回帰の課題に対処すること。
• 推定、仮説検定、モデル選択を含む、リッジ回帰の統一的理論的かつ計算的フレームワークを提供すること。
• リッジ回帰とベイズ的手法との関連性、およびロジスティック回帰や一般化線形モデルへの拡張を確立すること。
• 交差検証、一般化交差検証、情報基準を用いたペナルティパラメータ選択に関する実用的ガイダンスを提供すること。
• 実世界のデータ例を用いて、マイクロRNAによる遺伝子発現の調節といったゲノミクス分野への応用を提示すること。

提案手法

• リッジ回帰を、回帰係数の ℓ2 ペナルティを課した二乗残差の和を最小化する制約付き最適化問題として定式化する。
• β̂_ridge = (XᵀX + λI)⁻¹XᵀY としてリッジ推定量を導出し、XᵀX が悪条件である場合の解の安定化役を示す。
• リッジ推定量のバイアス、バリアンス、平均二乗誤差を分析し、固有値分解を用いた縮小特性を示す。
• 帽子行列のトレースを用いたリッジ回帰の自由度を導入し、モデルの複雑さの評価を可能にする。
• 特異値分解（SVD）と座標降下法などの反復アルゴリズムを用いて、計算的に効率的な評価を実装する。
• 情報基準（AIC、BIC）、交差検証、一般化交差検証（GCV）を用いて最適なペナルティパラメータ選択を適用する。

実験結果

リサーチクエスチョン

• RQ1 p > n の状況において、リッジ回帰はどのように高次元線形回帰の不安定性を軽減するか？
• RQ2 リッジ回帰とベイズ推定の関係は何か。特に、事前分布と事後モードの観点から説明せよ。
• RQ3 リッジパラメータ λ の変化に伴い、リッジ推定量のバイアス、バリアンス、平均二乗誤差はどのように変化するか？
• RQ4 固有値の縮小は、主成分回帰や変数選択にどのような意味を持つのか？
• RQ5 実際の応用において、交差検証、GCV、または情報基準を用いてペナルティパラメータを効果的に選択する方法は何か？

主な発見

• リッジ回帰は、バイアスを導入することでバリアンスを低減し、高次元設定では平均二乗誤差が低くなる。
• リッジ推定量は、β に正規事前分布を仮定した場合の事後モードと等価であり、強いベイズ的関連性を示す。
• リッジ回帰の自由度は、trace(X(XᵀX + λI)⁻¹Xᵀ) で与えられ、モデルの複雑さの評価が可能になる。
• 交差検証と一般化交差検証は、ペナルティパラメータ λ の選択に頼れる手法を提供する。
• p > n の高次元設定において、リッジ回帰はリスクが有界であるため、母数を一貫して推定する。
• リッジ推定量は係数をゼロに近づけるが、設計行列の固有値が小さい変数ほど、より強い縮小が行われる。