[論文レビュー] Optimal ridge penalty for real-world high-dimensional data can be zero or negative due to the implicit ridge regularization

Dmitry Kobak, Jonathan Lomond+1 more|arXiv (Cornell University)|May 28, 2018

Statistical Methods and Inference参考文献 38被引用数 24

ひとこと要約

この論文は、高次元かつ未定義な設定（n ≪ p）において、低分散予測子方向からの暗黙的リッジ正則化のため、線形回帰における最適なリッジペナルティがゼロ、あるいは負になる可能性があることを示している。最小ノルム最小二乗推定器は、明示的な正則化がなくてもしばしば良好に一般化するため、大規模なモデルでは過学習を避けるために強い正則化が必要であるという従来の常識に疑問を呈する。

ABSTRACT

A conventional wisdom in statistical learning is that large models require strong regularization to prevent overfitting. Here we show that this rule can be violated by linear regression in the underdetermined $n\ll p$ situation under realistic conditions. Using simulations and real-life high-dimensional data sets, we demonstrate that an explicit positive ridge penalty can fail to provide any improvement over the minimum-norm least squares estimator. Moreover, the optimal value of ridge penalty in this situation can be negative. This happens when the high-variance directions in the predictor space can predict the response variable, which is often the case in the real-world high-dimensional data. In this regime, low-variance directions provide an implicit ridge regularization and can make any further positive ridge penalty detrimental. We prove that augmenting any linear model with random covariates and using minimum-norm estimator is asymptotically equivalent to adding the ridge penalty. We use a spiked covariance model as an analytically tractable example and prove that the optimal ridge penalty in this case is negative when $n\ll p$.

研究の動機と目的

• 高次元設定（n ≪ p）における大規模モデルが、過学習を避けるために常に強い正の正則化を必要とするという一般的な信念に反論すること。
• 未定義線形回帰における最小ノルム最小二乗推定器の一般化性能を調査すること。
• 明示的なリッジ正則化（λ > 0）が性能向上に寄与しない条件を同定すること。
• 応答変数が予測子空間内の高分散方向によって予測される場合、最適なリッジペナルティが負になり得ることを形式的に証明すること。
• ランダムな共変量を追加することと、最小ノルム推定器による暗黙的リッジ正則化との間の理論的・実証的関係を確立すること。

提案手法

• 一般化性能をさまざまなリッジペナルティで評価するために、シミュレーションおよび実世界の高次元データセット（例：ゲノム、ケモメトリクス）を用いる。
• スパiked共分散モデルを導出し、解析的にn ≪ pの下で最適なリッジペナルティが負になることを示す。
• 線形モデルにランダムな共変量を追加し、最小ノルム推定器を用いることが、漸近的にリッジ正則化と同等になることを証明する。
• カーネルトリックを用いて、最小ノルムOLS推定器がカーネル形式として表現できることを示し、無限次元特徴空間への拡張を可能にする。
• ゼロ初期化における勾配降下法が最小ノルム解に収束することを示し、最適化ダイナミクスと暗黙的正則化を結びつける。
• 複数のデータ環境において、λ ≥ 0のリッジ回帰のリスク（一般化誤差）と最小ノルムOLS推定器（λ = 0）のリスクを比較する。

実験結果

リサーチクエスチョン

• RQ1 高次元設定において、最小ノルム最小二乗推定器が正のペナルティを伴うリッジ回帰を上回る条件は何か？
• RQ2 高次元線形回帰における最適なリッジペナルティが負になり得るか？ もしそうなら、その理由は何か？
• RQ3 低分散予測子方向からの暗黙的リッジ正則化が、n ≪ pの状況におけるモデルの一般化に与える影響は何か？
• RQ4 ランダムな共変量を追加することと、最小ノルム推定器における暗黙的リッジ正則化の関係は何か？
• RQ5 なぜ正のリッジ正則化は、古典的直観とは反して高次元データでは性能を低下させることがあるのか？

主な発見

• 高次元かつ未定義な設定（n ≪ p）において、最小ノルム最小二乗推定器（λ = 0）は、正のペナルティを伴うリッジ回帰と同等、あるいはそれ以上の一般化性能を示すことがある。
• 応答変数が予測子空間内の高分散方向によって予測される場合、最適なリッジペナルティは負になり得る。この場合、追加の正の正則化は逆効果となる。
• 予測子空間内の低分散方向と最小ノルム制約の組み合わせが、明示的な正のリッジペナルティを上回る暗黙的リッジ正則化を提供する。
• スパiked共分散モデルを用いた解析により、n ≪ p かつ信号が高分散方向に存在する場合、最適なリッジペナルティが負であることが確認された。
• 線形モデルにランダムな共変量を追加し、最小ノルム推定器を用いることは、特定のペナルティを伴うリッジ正則化と漸近的に同等である。
• 実世界のデータセットおよびシミュレーションの実証的結果から、正のリッジ正則化は最小ノルム解を上回る一般化性能を向上させることがしばしば失敗することが示された。