[論文レビュー] Ridge Regularization: an Essential Concept in Data Science

Trevor Hastie|arXiv (Cornell University)|May 30, 2020

Neural Networks and Applications被引用数 5

ひとこと要約

この論文は、データサイエンスにおける基礎的技術としてリッジ正則化を提示し、損失関数に ℓ₂ ペナルティを追加することによって、悪条件な線形モデルの安定化を示している。リッジ回帰は縮小を通じて分散を低減し、高次元設定における一般化性能を向上させるとともに、ベイズ的事前分布、行列補完、低ランク近似といった広範な概念と関連している。

ABSTRACT

Ridge or more formally $\ell_2$ regularization shows up in many areas of statistics and machine learning. It is one of those essential devices that any good data scientist needs to master for their craft. In this brief ridge fest I have collected together some of the magic and beauty of ridge that my colleagues and I have encountered over the past 40 years in applied statistics.

研究の動機と目的

• 悪条件な回帰問題に対処するため、リッジ正則化をデータサイエンスにおける基本的ツールとして確立すること。
• 設計行列 X に高い多重共線性または近似特異性がある場合に、リッジ正則化が最小二乗推定における数値的不安定性を緩和することを示すこと。
• 回帰係数に平均ゼロのガウス事前分布を仮定したベイズ推定とリッジ回帰との等価性を示すこと。
• 一般化線形モデル、コックスモデル、行列因子分解問題へリッジ正則化を拡張すること。
• リッジ正則化と核ノルム最小化による低ランク行列近似との関連を示すこと。

提案手法

• 悪条件な XᵀX 行列の逆行列を安定化させるために、リッジ回帰推定量 β̂_λ = (XᵀX + λI)⁻¹Xᵀy を使用する。
• リッジを制約付き最適化として再定式化する：||y - Xβ||₂² を ||β||₂ ≤ c の制約のもとで最小化し、ラグランジュ形式との等価性を示す。
• 一般化線形モデル（GLMs）にペナルティ項 λ||β||₂² を適用し、ヘッセ行列が平坦な場合のニュートン・ラプソン法の安定化を図る。
• 分類が完全に分離可能なロジスティック回帰において、リッジ正則化が係数の発散を防ぎ、有限で安定した推定値をもたらすことを示す。
• 特異値分解（SVD）を用いて、特に高次元設定においてリッジ解を効率的に分析・計算する。
• 核ノルム最小化を介して、リッジのアイデアを行列補完および低ランク近似に拡張し、因子分解された行列における双凸リッジ問題と等価であることを示す。

実験結果

リサーチクエスチョン

• RQ1 XᵀX が悪条件または特異な場合、リッジ正則化は最小二乗推定をどのように安定化させるか？
• RQ2 リッジ回帰と回帰係数にガウス事前分布を仮定したベイズ推定との関係は何か？
• RQ3 分離性のため最尤推定量が定義されない場合、一般化線形モデルにおけるリッジ正則化の性能はいかがなものか？
• RQ4 リッジ正則化は行列因子分解および低ランク近似問題へ拡張可能か？
• RQ5 行列補完タスクにおいて、リッジ正則化と核ノルム最小化との関連は何か？

主な発見

• リッジ正則化は、XᵀX の対角成分に λ を加えることで、悪条件な線形モデルを安定化させ、逆行列の存在を保証するとともに分散を低減する。
• リッジ推定量はゼロに向かってバイアスがかかるが、通常最小二乗法よりも分散が小さいため、λ を適切に選べば汎化性能が向上する。
• 完全に分離可能なロジスティック回帰において、リッジ正則化は係数の発散を防ぎ、有限で安定した推定値を提供する。
• リッジ正則化は一般化線形モデル、コックスモデル、多クラスロジスティック回帰へ一般化可能であり、高次元または特異な状況下での最尤推定を安定化させる。
• 核ノルム最小化問題（行列補完）の解は、因子分解された行列における二重リッジ問題と等価であり、ℓ₂ と ℓ₁ 正則化が新しい形で結びつく。
• 高次元設定（p ≫ n）では、リッジ正則化により係数ベクトルの ℓ₂ ノルムを制御することで、モデルの複雑さが低減し、予測性能が向上する。