[論文レビュー] Asymptotics of Ridge (less) Regression under General Source Condition

Dominic Richards, Jaouad Mourtada+1 more|arXiv (Cornell University)|Jun 11, 2020

Statistical Methods and Inference参考文献 51被引用数 20

ひとこと要約

この論文は、標本サイズと次元が比例して増大する高次元漸近的設定におけるリッジ回帰を分析し、真の回帰係数の構造（ソース条件によって符号化される）が、補間（リッジレス回帰）が最適であるかどうかを決定することを示している。主な発見は、信号係数が高分散のデータ方向と整合している場合、無限大のSNRを要さない有限の信号対ノイズ比（SNR）のもとでも補間が最適である可能性があることである。これは、従来の結果とは対照的であり、それらは等方的事前分布のもとで無限大のSNRを仮定していた。

ABSTRACT

We analyze the prediction error of ridge regression in an asymptotic regime where the sample size and dimension go to infinity at a proportional rate. In particular, we consider the role played by the structure of the true regression parameter. We observe that the case of a general deterministic parameter can be reduced to the case of a random parameter from a structured prior. The latter assumption is a natural adaptation of classic smoothness assumptions in nonparametric regression, which are known as source conditions in the the context of regularization theory for inverse problems. Roughly speaking, we assume the large coefficients of the parameter are in correspondence to the principal components. In this setting a precise characterisation of the test error is obtained, depending on the inputs covariance and regression parameter structure. We illustrate this characterisation in a simplified setting to investigate the influence of the true parameter on optimal regularisation for overparameterized models. We show that interpolation (no regularisation) can be optimal even with bounded signal-to-noise ratio (SNR), provided that the parameter coefficients are larger on high-variance directions of the data, corresponding to a more regular function than posited by the regularization term. This contrasts with previous work considering ridge regression with isotropic prior, in which case interpolation is only optimal in the limit of infinite SNR.

研究の動機と目的

• n と p が比例して増大する高次元漸近的設定におけるリッジ回帰の一般化誤差を理解すること。
• 真の回帰係数の構造、特に主成分との整合性が最適正則化に与える影響を調査すること。
• 非等方的パラメータ構造を組み込むことで、リッジ回帰におけるダブルデセントと補間に関する先行研究を拡張すること。
• 高次元線形回帰におけるソース条件の役割を形式化し、逆問題における滑らかさ仮定と関連付けること。
• データ共分散、信号構造、正則化に依存するテスト誤差の明確な特徴付けを提供すること。

提案手法

• 著者たちは、データ共分散の主成分に沿った信号強度を符号化する構造的事前分布からのランダムサンプリングとして真の回帰係数をモデル化する。
• 漸近的確率行列理論の道具を用いて、この事前分布のもとでのリッジ回帰の極限テスト誤差を導出する。
• n, p → ∞ かつ p/n → γ > 0 となる高次元漸近的設定を仮定する。
• ソース条件は、母集団共分散の固有空間へのパラメータの射影に関する事前分布として形式化され、古典的な滑らかさ仮定を一般化する。
• 信号対ノイズ比、正則化パラメータ、過パラメータ化比、およびソース条件によるパラメータ構造に依存する、極限予測誤差の閉形式表現を導出する。
• 強力な特徴と弱い特徴を有する簡略化された二成分モデルを用いて、モデルの誤指定が与える影響を説明する。

実験結果

リサーチクエスチョン

• RQ1 高次元設定において、リッジレス（補間）回帰が最適予測誤差を達成する条件は何か？
• RQ2 真のパラメータがデータの高分散主成分と整合している場合、補間の最適性にどのような影響を与えるか？
• RQ3 真のパラメータに等方的事前分布を仮定することは、過パラメータ化モデルにおける一般化性能の完全な特徴付けを可能にするか？
• RQ4 信号が固有空間に分布する方のソース条件は、リッジ回帰のダブルデセント行動にどのように影響を与えるか？
• RQ5 信号が高分散方向に集中している場合、有限の信号対ノイズ比のもとでも補間が最適になることは可能か？

主な発見

• 真のパラメータがデータ共分散の高分散方向に大きな係数を持つ場合、有限の信号対ノイズ比のもとでも補間（リッジレス回帰）が最適であることがある。
• リッジ回帰の極限テスト誤差は、信号対ノイズ比、正則化パラメータ、過パラメータ化比、および信号構造を符号化するソース条件によって正確に特徴付けられる。
• 簡略化された二成分モデルでは、最適正則化は強力な特徴と弱い特徴における信号の相対的強度に依存し、信号が高分散成分に集中している場合には補間が最適となる。
• 分析により、標準的な等方的事前分布の仮定は、有限SNRのもとで補間が最適となる状況を除外するため、不適切な特徴付けをもたらすことが示された。
• 高次元極限のもとで、経験的トレースが母集団対応物にほとんど確実に収束することが確立され、極限誤差表現の導出が可能になった。
• 本論文は、過パラメータ化線形回帰におけるパラメータ構造のモデリングに、ソース条件が自然かつ直感的なフレームワークを提供することを示している。これは、古典的正則化理論の拡張である。