[論文レビュー] Implicit ridge regularization provided by the minimum-norm least squares estimator when $n\ll p$

Dmitry Kobak, Jonathan Lomond+1 more|arXiv (Cornell University)|May 28, 2018

Neural Networks and Applications被引用数 1

ひとこと要約

本稿は、$ n \ll p $ の高次元線形回帰において、最小ノルム最小二乗推定器が低分散予測子方向のおかげで暗黙的 Ridge 正則化を提供することを示しており、これにより明示的な正の Ridge 正則化は効果がなく、場合によっては有害である。応答変数を予測する高分散方向が存在する場合、最適 Ridge 正則化パラメータは負になり得る。シミュレーション、実データ、そしてスプライス型共分散モデルの証明により示された。

ABSTRACT

A conventional wisdom in statistical learning is that large models require strong regularization to prevent overfitting. Here we show that this rule can be violated by linear regression in the underdetermined $n\ll p$ situation under realistic conditions. Using simulations and real-life high-dimensional data sets, we demonstrate that an explicit positive ridge penalty can fail to provide any improvement over the minimum-norm least squares estimator. Moreover, the optimal value of ridge penalty in this situation can be negative. This happens when the high-variance directions in the predictor space can predict the response variable, which is often the case in the real-world high-dimensional data. In this regime, low-variance directions provide an implicit ridge regularization and can make any further positive ridge penalty detrimental. We prove that augmenting any linear model with random covariates and using minimum-norm estimator is asymptotically equivalent to adding the ridge penalty. We use a spiked covariance model as an analytically tractable example and prove that the optimal ridge penalty in this case is negative when $n\ll p$.

研究の動機と目的

• 高次元設定における大規模モデルは常に強い明示的正則化を要するという一般的な常識に挑戦すること。
• 下に定義された線形モデル（$n \ll p$）における最小ノルム最小二乗推定器（MoNLS）が暗黙的正則化を提供するかどうかを調査すること。
• 明示的 Ridge 正則化が性能を向上させない、あるいは逆に劣化させる条件を特定すること。
• MoNLS 推定器を介して、ランダムな共変量を追加することと Ridge 正則化を加えることの漸近的同等性を形式的に確立すること。
• スプライス型共分散モデルにおける $n \ll p$ 条件下での最適 Ridge 正則化パラメータを導出し、分析すること。
• method

提案手法

• 本研究では、最小ノルム最小二乗推定器（MoNLS）と Ridge 正則化回帰の性能を比較するために、シミュレーションと実世界の高次元データセットを用いる。
• 本研究は、高次元設定における Ridge 正則化の挙動を分析可能な枠組みとして、スプライス型共分散モデルを導入する。
• 本稿では、線形モデルに独立なランダム共変量を追加し、MoNLS 推定器を適用することは、漸近的に Ridge 正則化と同等であることを証明する。
• 理論的分析により、スプライス型共分散モデルにおける最適 Ridge 正則化パラメータを導出し、$n \ll p$ の下で負になる可能性があることを示す。
• 分析は、予測子の分散構造と応答変数の予測可能性の間の相互作用に焦点を当てる。特に、高分散方向が予測に寄与する仕組みに注目する。
• 理論的結果は、MoNLS が既に暗黙的正則化を提供している場合、正の Ridge 正則化が性能を劣化させる可能性があることを示す数値実験によって裏付けられる。
• research_questions

実験結果

リサーチクエスチョン

• RQ1 高次元線形回帰モデル（$n \ll p$）において、最小ノルム最小二乗推定器がいつ暗黙的 Ridge 正則化を提供するか。
• RQ2 $n \ll p$ の領域において、最適 Ridge 正則化パラメータが負になり得る条件は何か。また、そのような状況はどのようなデータ条件下で生じるか。
• RQ3 最小ノルム推定器が既に使用されている場合、なぜ明示的な正の Ridge 正則化が性能向上に寄与しないのか。
• RQ4 予測子方向の分散構造が、高次元回帰における Ridge 正則化の有効性にどのように影響を与えるか。
• RQ5 ランダム共変量を追加することと、最小ノルム推定器を介して Ridge 正則化を適用することの漸近的同等性は何か。
• RQ6 key_findings

主な発見

• 高次元設定（$n \ll p$）において、最小ノルム最小二乗推定器は、低分散予測子方向のおかげで暗黙的 Ridge 正則化を提供する。
• 予測子空間に応答変数を予測する高分散方向が存在する場合、明示的な正の Ridge 正則化は性能を劣化させる可能性がある。
• スプライス型共分散モデルにおける最適 Ridge 正則化パラメータは、$n \ll p$ の下で負になることが示され、この条件下では正の正則化が有害であることを示している。
• 最小ノルム推定器を介して、ランダム共変量を追加することと Ridge 正則化を加えることの漸近的同等性が確立され、暗黙的正則化の理論的基盤が得られた。
• シミュレーションと実データ解析により、予測子空間に高分散成分が存在し、それが応答変数を予測する場合、MoNLS は Ridge 回帰を上回ることが確認された。
• 正の Ridge 正則化が失敗する理由は、MoNLS が既に高分散方向を低減重み付けすることで正則化しているため、さらなる正の正則化が逆効果になることにある。