[论文解读] On the Optimal Weighted $\ell_2$ Regularization in Overparameterized Linear Regression

Denny Wu, Ji Xu|arXiv (Cornell University)|Jun 10, 2020

Sparse and Compressive Sensing Techniques参考文献 45被引用 17

一句话总结

本文在过参数化线性回归中对加权 $\lambda_2$ 正则化提供了预测风险的精确渐近表征，表明在各向异性的数据和信号协方差下，最优岭参数 $\lambda_{\text{opt}}$ 可以为负。本文推导了无岭回归和最优正则化设定下的最优加权矩阵 $\boldsymbol{\Sigma}_w$，为隐式正则化提供了理论依据，并解释了主成分回归中的双下降现象。

ABSTRACT

We consider the linear model $\mathbf{y} = \mathbf{X} \mathbfβ_\star + \mathbfε$ with $\mathbf{X}\in \mathbb{R}^{n imes p}$ in the overparameterized regime $p>n$. We estimate $\mathbfβ_\star$ via generalized (weighted) ridge regression: $\hat{\mathbfβ}_λ= \left(\mathbf{X}^T\mathbf{X} + λ\mathbfΣ_w ight)^\dagger \mathbf{X}^T\mathbf{y}$, where $\mathbfΣ_w$ is the weighting matrix. Under a random design setting with general data covariance $\mathbfΣ_x$ and anisotropic prior on the true coefficients $\mathbb{E}\mathbfβ_\star\mathbfβ_\star^T = \mathbfΣ_β$, we provide an exact characterization of the prediction risk $\mathbb{E}(y-\mathbf{x}^T\hat{\mathbfβ}_λ)^2$ in the proportional asymptotic limit $p/n ightarrow γ\in (1,\infty)$. Our general setup leads to a number of interesting findings. We outline precise conditions that decide the sign of the optimal setting $λ_{ m opt}$ for the ridge parameter $λ$ and confirm the implicit $\ell_2$ regularization effect of overparameterization, which theoretically justifies the surprising empirical observation that $λ_{ m opt}$ can be negative in the overparameterized regime. We also characterize the double descent phenomenon for principal component regression (PCR) when both $\mathbf{X}$ and $\mathbfβ_\star$ are anisotropic. Finally, we determine the optimal weighting matrix $\mathbfΣ_w$ for both the ridgeless ($λ o 0$) and optimally regularized ($λ= λ_{ m opt}$) case, and demonstrate the advantage of the weighted objective over standard ridge regression and PCR.

研究动机与目标

• 在一般各向异性的数据和信号协方差下，表征过参数化情形（$p > n$）下广义岭回归的预测风险。
• 解决在过参数化设置中观察到的负最优岭参数的悖论。
• 推导无岭回归（$\lambda \to 0$）和最优正则化（$\lambda = \lambda_{\text{opt}}$）情形下的最优加权矩阵 $\boldsymbol{\Sigma}_w$。
• 解释在各向异性条件下主成分回归中双下降行为的成因。

提出的方法

• 利用随机矩阵理论和总体谱分布分析，在比例渐近极限 $p/n \to \gamma \in (1, \infty)$ 下推导预测风险。
• 引入广义岭估计器 $\hat{\boldsymbol{\beta}}_\lambda = (\boldsymbol{X}^\top\boldsymbol{X} + \lambda\boldsymbol{\Sigma}_w)^\dagger \boldsymbol{X}^\top\boldsymbol{y}$，其中加权矩阵 $\boldsymbol{\Sigma}_w$ 为一般正定矩阵。
• 采用具有 i.i.d. 特征 $\boldsymbol{x}_i \sim \mathcal{N}(0, \boldsymbol{\Sigma}_x)$ 和各向异性先验 $\mathbb{E}[\boldsymbol{\beta}_\star\boldsymbol{\beta}_\star^\top] = \boldsymbol{\Sigma}_\beta$ 的随机设计模型。
• 以 $\boldsymbol{\Sigma}_x$ 和 $\boldsymbol{\Sigma}_\beta$ 的特征值及正则化参数 $\lambda$ 表示预测风险 $\mathbb{E}(y - \boldsymbol{x}^\top\hat{\boldsymbol{\beta}}_\lambda)^2$ 的精确表达式。
• 通过分析风险函数导数的符号，建立 $\lambda_{\text{opt}} < 0$ 的条件。
• 通过最小化渐近预测风险计算最优 $\boldsymbol{\Sigma}_w$，表明其依赖于 $\boldsymbol{\Sigma}_x$ 和 $\boldsymbol{\Sigma}_\beta$ 的联合谱结构。

实验结果

研究问题

• RQ1 在过参数化情形下，最优岭参数 $\lambda_{\text{opt}}$ 在何种条件下为负？
• RQ2 数据协方差 $\boldsymbol{\Sigma}_x$ 和信号协方差 $\boldsymbol{\Sigma}_\beta$ 的各向异性如何影响预测风险和最优正则化？
• RQ3 在无岭回归和最优正则化设定下，最小化预测风险的最优加权矩阵 $\boldsymbol{\Sigma}_w$ 是什么？
• RQ4 当 $\boldsymbol{\Sigma}_x$ 和 $\boldsymbol{\Sigma}_\beta$ 为各向异性时，双下降现象在主成分回归中如何表现？
• RQ5 在高维过参数化设置中，加权岭回归能否优于标准岭回归和PCR？

主要发现

• 当信号协方差 $\boldsymbol{\Sigma}_\beta$ 和数据协方差 $\boldsymbol{\Sigma}_x$ 为各向异性时，最优岭参数 $\lambda_{\text{opt}}$ 可为负，为经验观察提供了理论依据。
• 当 $\boldsymbol{\Sigma}_x$ 和 $\boldsymbol{\Sigma}_\beta$ 不对齐时，主成分回归中的预测风险表现出双下降行为，且在过参数化区域出现多个峰值。
• 无岭回归的最优加权矩阵为 $\boldsymbol{\Sigma}_w = \left( (\boldsymbol{\Sigma}_x - c\mathbf{I})^2 + d\mathbf{I} \right)^{-1}$，其中 $c$ 和 $d$ 依赖于特征值的条件期望。
• 对于最优正则化回归，最优 $\boldsymbol{\Sigma}_w$ 作为 $\boldsymbol{\Sigma}_x$ 和 $\boldsymbol{\Sigma}_\beta$ 联合谱分布的函数被推导出来，其泛化性能优于标准岭回归和PCR。
• 本文推导的渐近预测风险在各种配置下（包括离散和连续分布）与有限样本模拟结果高度一致。
• 采用最优 $\boldsymbol{\Sigma}_w$ 的加权岭回归在预测风险上优于标准岭回归和PCR，尤其在各向异性且不对齐的设定下表现更优。