[论文解读] Implicit regularization via hadamard product over-parametrization in high-dimensional linear regression

Peng Zhao, Yun Yang+1 more|arXiv (Cornell University)|Mar 22, 2019

Sparse and Compressive Sensing Techniques参考文献 29被引用 19

一句话总结

本文提出在高维线性回归中使用Hadamard积过参数化，通过梯度下降实现隐式正则化。尽管存在非凸性，但在小初始化和早停条件下，该方法收敛至近乎稀疏、速率最优的解，实现参数化的根n速率，且无需显式惩罚偏差，其精度优于显式正则化方法。

ABSTRACT

We consider Hadamard product parametrization as a change-of-variable (over-parametrization) technique for solving least square problems in the context of linear regression. Despite the non-convexity and exponentially many saddle points induced by the change-of-variable, we show that under certain conditions, this over-parametrization leads to implicit regularization: if we directly apply gradient descent to the residual sum of squares with sufficiently small initial values, then under proper early stopping rule, the iterates converge to a nearly sparse rate-optimal solution with relatively better accuracy than explicit regularized approaches. In particular, the resulting estimator does not suffer from extra bias due to explicit penalties, and can achieve the parametric root-$n$ rate (independent of the dimension) under proper conditions on the signal-to-noise ratio. We perform simulations to compare our methods with high dimensional linear regression with explicit regularizations. Our results illustrate advantages of using implicit regularization via gradient descent after over-parametrization in sparse vector estimation.

研究动机与目标

• 研究通过Hadamard积的过参数化是否能在高维线性回归中诱导隐式正则化。
• 分析在此过参数化方案下梯度下降的收敛性质。
• 比较所得估计器与显式正则化方法在稀疏性和估计精度方面的性能。
• 确定该方法在何种条件下可实现与维度无关的参数化根n速率。
• 证明该方法可避免正则化回归中显式惩罚项带来的偏差。

提出的方法

• 本文在最小二乘问题中采用Hadamard积参数化作为变量变换，引入过参数化。
• 在重新参数化的框架下，直接对残差平方和应用梯度下降。
• 使用小初始值，以确保在隐式正则化效应下收敛至稀疏解。
• 应用早停规则以防止过拟合并保持估计精度。
• 在信噪比条件下进行理论分析，推导收敛性和速率最优性。
• 通过模拟实验，将该方法与显式正则化技术进行经验比较。

实验结果

研究问题

• RQ1 Hadamard积过参数化是否能在高维线性回归中诱导隐式正则化？
• RQ2 在小初始化和早停条件下，该参数化下梯度下降是否能产生近乎稀疏的解？
• RQ3 在合适的信噪比条件下，所得估计器是否能实现与维度无关的参数化根n速率？
• RQ4 与显式正则化相比，该隐式正则化方法在估计精度和稀疏性方面的性能如何？
• RQ5 该方法是否避免了正则化回归中显式惩罚项带来的偏差？

主要发现

• 尽管问题为非凸且存在指数级数量的鞍点，该方法仍通过隐式正则化实现近乎稀疏的解。
• 在适当的早停和小初始化下，迭代过程收敛至速率最优的解，实现参数化的根n速率。
• 所得估计器避免了Lasso或Ridge等显式正则化方法固有的额外偏差。
• 模拟结果表明，在高维设置下，该方法在估计精度方面优于显式正则化。
• 识别出在信噪比条件下可实现参数化根n速率的理论条件。
• 该方法对高维性表现出鲁棒性，保持与特征数量无关的最优收敛速率。