[論文レビュー] Ridge Regression: Structure, Cross-Validation, and Sketching

Sifan Liu, Edgar Dobriban|arXiv (Cornell University)|Oct 6, 2019

Sparse and Compressive Sensing Techniques参考文献 29被引用数 17

ひとこと要約

本稿は、高次元漸近的設定におけるリッジ回帰の統一的分析を提供し、母集団共分散構造に依存する線形結合としての推定器の明確な構造を導出する。正則化パrameter 選択のためのバイアス補正付き交差検証法を提案し、プライマルおよびデュアルスケッチ法が精度の損失を最小限に抑えつつ計算の高速化を実現することを示している。一部の設定では誤差をわずか5%増加させる一方で、計算時間を50%まで短縮する。

ABSTRACT

We study the following three fundamental problems about ridge regression: (1) what is the structure of the estimator? (2) how to correctly use cross-validation to choose the regularization parameter? and (3) how to accelerate computation without losing too much accuracy? We consider the three problems in a unified large-data linear model. We give a precise representation of ridge regression as a covariance matrix-dependent linear combination of the true parameter and the noise. We study the bias of $K$-fold cross-validation for choosing the regularization parameter, and propose a simple bias-correction. We analyze the accuracy of primal and dual sketching for ridge regression, showing they are surprisingly accurate. Our results are illustrated by simulations and by analyzing empirical data.

研究の動機と目的

• 高次元漸近的モデルにおけるリッジ回帰推定器の構造的形を理解すること。
• 正則化パrameter 選択におけるK-フォールド交差検証のバイアスを解消し、補正法を提案すること。
• プライマルおよびデュアルスケッチ法の精度と計算効率をリッジ回帰において分析すること。
• ランダム行列理論の枠組みにおいてスケッチの精度に関する理論的保証を確立すること。
• 正則化パrameter の選択および計算の高速化に関する実用的知見を提供し、予測性能を損なわずに実現すること。

提案手法

• 母集団共分散構造に依存するスケーリング行列を伴う、真のパrameter とノイズの線形結合としてのリッジ回帰の明確な表現を導出する。
• 漸近的設定におけるバイアスの解析的特徴付けに基づき、K-フォールド交差検証のバイアスを下向きスケーリングで補正する手法を提案する。
• ランダム行列理論を用いてプライマルおよびデュアルスケッチを分析し、スケッチが標本共分散行列に与える影響をモデル化する。
• 自由確率論と漸近的ランダム行列理論を用いて、標本共分散行列を含むトレース式の極限を計算する。
• Marchenko-Pasturの法則および自由加法的畳み込みを用いて、スケッチされた推定器の挙動を特徴付ける。
• シミュレーションおよび実データ解析を通じて理論的知見を検証し、MSE、バイアス、分散の観点から各手法を比較する。

実験結果

リサーチクエスチョン

• RQ1 母集団共分散行列が与えられたもとで、リッジ回帰推定器は真のパラメータとノイズのどのような構造的形をとるか？
• RQ2 リッジ正則化パrameter 選択において、K-フォールド交差検証のバイアスの性質と大きさは何か？
• RQ3 高次元設定におけるリッジ回帰において、プライマルおよびデュアルスケッチ法の精度はどの程度か？
• RQ4 スケッチ法は計算コストを削減しつつ、予測精度を維持あるいは向上させることができるか？
• RQ5 スケッチドリッジ回帰におけるバイアス、分散、計算効率の最適なトレードオフは何か？

主な発見

• リッジ推定器は、母集団共分散行列と正則化パrameter に依存するスケーリングによって定まる線形変換により、真のパラメータでよく近似される。
• 交差検証は最適な正則化パrameter を推定する際に体系的な下向きバイアスを示すが、CVで選択された値を単純に下向きスケーリングすることで補正可能である。
• プライマルおよびデュアルスケッチ法は、一部の設定で計算コストを最大50%まで削減しつつ、平均二乗誤差（MSE）をわずか5%増加に抑える。
• 驚くべきことに、元の正則化パrameter が最適でない場合、スケッチは暗黙のバイアス補正効果によりMSEを改善することがある。
• デュアルスケッチはプライマルスケッチよりも分散をより効果的に低減するが、それに対してバイアスが高くなる。選択はバイアスと分散の相対的重要性に依存する。
• スケッチドリッジ回帰の最適な正則化パrameter は、通常のリッジ回帰よりも一般的に低くなる。また、プライマルとデュアルスケッチの性能差は、スケッチ次元と標本サイズの相対的関係に依存する。