[论文解读] A Continuous-Time View of Early Stopping for Least Squares Regression

Alnur Ali, J. Zico Kolter+1 more|arXiv (Cornell University)|Oct 23, 2018

Numerical methods in inverse problems被引用 32

一句话总结

本文分析了最小二乘回归中的梯度流——梯度下降的连续时间极限——并表明，在校准 $ t = 1/\lambda $ 下，其风险在所有 $ t \geq 0 $ 下至少为岭回归的 1.69 倍，即使在数据假设最少的有限样本中也是如此。该结果适用于估计风险与预测风险，且提供了渐近极限与数值验证。

ABSTRACT

We study the statistical properties of the iterates generated by gradient descent, applied to the fundamental problem of least squares regression. We take a continuous-time view, i.e., consider infinitesimal step sizes in gradient descent, in which case the iterates form a trajectory called gradient flow. Our primary focus is to compare the risk of gradient flow to that of ridge regression. Under the calibration $t=1/\lambda$---where $t$ is the time parameter in gradient flow, and $\lambda$ the tuning parameter in ridge regression---we prove that the risk of gradient flow is no less than 1.69 times that of ridge, along the entire path (for all $t \geq 0$). This holds in finite samples with very weak assumptions on the data model (in particular, with no assumptions on the features $X$). We prove that the same relative risk bound holds for prediction risk, in an average sense over the underlying signal $\beta_0$. Finally, we examine limiting risk expressions (under standard Marchenko-Pastur asymptotics), and give supporting numerical experiments.

研究动机与目标

• 通过连续时间视角理解梯度下降在最小二乘回归中的统计行为。
• 比较梯度流（梯度下降的连续时间极限）与岭回归的风险。
• 在有限样本中建立梯度流相对于岭回归的相对风险的下限。
• 将风险比较扩展至对真实信号 $ \beta_0 $ 平均后的预测风险。
• 在 Marchenko-Pastur 渐近下分析极限风险表达式，并通过数值实验验证发现。

提出的方法

• 通过取无穷小步长的极限，将梯度下降建模为连续时间过程——梯度流。
• 采用校准 $ t = 1/\lambda $，将梯度流中的时间与岭回归的正则化参数 $ \lambda $ 关联。
• 在设计矩阵 $ X $ 的弱假设下，推导梯度流与岭回归的风险表达式。
• 在所有 $ t \geq 0 $ 下，建立梯度流风险与岭回归风险之比的通用下限 1.69。
• 通过在真实信号 $ \beta_0 $ 上平均来分析预测风险，表明相同的相对风险下限依然成立。
• 利用 Marchenko-Pastur 渐近分析，推导风险的极限表达式，并通过数值实验支持研究发现。

实验结果

研究问题

• RQ1 在校准 $ t = 1/\lambda $ 下，梯度流的风险与岭回归相比如何？
• RQ2 在假设最少的有限样本中，梯度流相对于岭回归的相对风险是否具有下界？
• RQ3 当对真实信号 $ \beta_0 $ 平均预测风险时，风险比是否仍保持有界？
• RQ4 在 Marchenko-Pastur 渐近下，梯度流与岭回归的极限风险表达式是什么？
• RQ5 数值实验能否验证本文推导出的理论风险边界？

主要发现

• 在校准 $ t = 1/\lambda $ 下，梯度流的风险在所有 $ t \geq 0 $ 下至少为岭回归的 1.69 倍，即使在有限样本中也是如此。
• 该 1.69 的风险比下限不依赖于特征 $ X $ 的任何假设，因此具有广泛适用性。
• 当对真实信号 $ \beta_0 $ 平均时，预测风险的相对风险下限同样为 1.69。
• 在 Marchenko-Pastur 渐近下的极限风险表达式确认了理论发现，并支持有限样本结果。
• 提供了数值实验以验证推导出的风险边界，并说明梯度流相对于岭回归的行为特征。
• 结果表明，在标准校准下，梯度流相较于岭回归存在根本性的统计劣势。