[论文解读] A Continuous-Time View of Early Stopping for Least Squares

Alnur Ali, J. Zico Kolter+1 more|arXiv (Cornell University)|Oct 23, 2018

Sparse and Compressive Sensing Techniques参考文献 23被引用 15

一句话总结

本文通过分析梯度流——其无穷小步长极限——从连续时间视角研究了最小二乘回归的梯度下降法，并证明在校准 $ t = 1/\lambda $ 条件下，其风险至多为岭回归风险的 1.69 倍。该界在所有 $ t \geq 0 $ 下成立，适用于有限样本，对数据假设极少，并可扩展至贝叶斯意义下的预测风险，且当通过估计器的 $ \ell_2 $ 范数校准时，经验上观察到更紧密的耦合。

ABSTRACT

We study the statistical properties of the iterates generated by gradient descent, applied to the fundamental problem of least squares regression. We take a continuous-time view, i.e., consider infinitesimal step sizes in gradient descent, in which case the iterates form a trajectory called gradient flow. Our primary focus is to compare the risk of gradient flow to that of ridge regression. Under the calibration $t=1/λ$---where $t$ is the time parameter in gradient flow, and $λ$ the tuning parameter in ridge regression---we prove that the risk of gradient flow is no less than 1.69 times that of ridge, along the entire path (for all $t \geq 0$). This holds in finite samples with very weak assumptions on the data model (in particular, with no assumptions on the features $X$). We prove that the same relative risk bound holds for prediction risk, in an average sense over the underlying signal $β_0$. Finally, we examine limiting risk expressions (under standard Marchenko-Pastur asymptotics), and give supporting numerical experiments.

研究动机与目标

• 通过连续时间视角理解最小二乘回归中梯度下降的统计性质。
• 在整个路径上直接比较梯度流与岭回归的风险，而不仅限于收敛点。
• 在设计矩阵 $ X $ 假设最少的前提下，建立有限样本的风险上界。
• 将比较扩展至对真实信号的球状先验分布取平均（贝叶斯）意义下的预测风险。
• 推导并验证在 Marchenko-Pastur 极限下的渐近风险表达式，并与已知的岭回归结果进行比较。

提出的方法

• 通过取无穷小步长极限，将梯度下降建模为梯度流，从而得到迭代值的连续轨迹。
• 使用谱分析和反拉普拉斯变换，在高维渐近情形下推导梯度流贝叶斯风险的精确表达式。
• 建立梯度流中的时间 $ t $ 与岭回归调参参数 $ \lambda $ 之间的校准关系 $ t = 1/\lambda $，从而实现风险的直接比较。
• 证明梯度流相对于岭回归的相对风险在有限样本下存在上界，表明其永远不会超过岭回归风险的 1.69 倍。
• 在 Marchenko-Pastur 渐近下，利用极限谱分布的斯蒂尔杰斯变换，推导梯度流的极限风险表达式。
• 通过多种特征分布和设计矩阵的数值实验，验证理论边界，并观察梯度流与岭回归风险之间紧密的耦合关系。

实验结果

研究问题

• RQ1 在数据模型假设最少的前提下，梯度流在整个路径上的估计风险与岭回归相比如何？
• RQ2 梯度流的风险能否在有限样本下相对于岭回归进行有界控制？最紧的此类边界是什么？
• RQ3 该相对风险边界是否也适用于预测风险，特别是在对信号分布取平均（贝叶斯）意义下？
• RQ4 在 Marchenko-Pastur 极限下，梯度流与岭回归的渐近风险如何比较？表达式是否精确？
• RQ5 为何当通过估计器的 $ \ell_2 $ 范数校准时，梯度流与岭回归风险的经验耦合比通过 $ t=1/\lambda $ 校准时更紧密？

主要发现

• 在校准 $ t = 1/\lambda $ 条件下，对所有 $ t \geq 0 $，梯度流的估计风险至多为岭回归风险的 1.69 倍，且对设计矩阵 $ X $ 无任何假设。
• 在相同校准下，该 1.69 的相对风险边界同样适用于样本内预测风险。
• 对于样本外预测风险，该相对风险在对真实信号 $ \beta_0 $ 的球状先验分布取平均（贝叶斯）意义下，仍被限制在 1.69 以内。
• 当两种方法均经过最优调参时，梯度流相对于岭回归的相对风险在估计、样本内和样本外风险上均介于 1 到 1.22 之间。
• 数值实验表明，当通过估计器的 $ \ell_2 $ 范数校准时，梯度流与岭回归的风险曲线几乎完全重合，最大比值仅为 1.0050。
• 梯度流的理论渐近风险表达式在渐近下是精确的，并迅速收敛至有限样本结果，模拟中经验曲线与理论曲线无法区分。