[论文解读] Harder, Better, Faster, Stronger Convergence Rates for Least-Squares Regression

Dieuleveut, Aymeric, Nicolas Flammarion+1 more|arXiv (Cornell University)|Feb 17, 2016

Stochastic Gradient Optimization Techniques被引用 27

一句话总结

本文提出了一种新颖的平均加速正则化梯度下降算法，在随机梯度下，该算法在最小二乘回归中同时实现了偏差（O(1/n²)）和方差（O(d/n)）的联合最优收敛速率。该方法结合加速与平均，同时达到初始条件遗忘和噪声依赖的最佳已知速率，其最优性通过非参数回归的下界得到验证。

ABSTRACT

We consider the optimization of a quadratic objective function whose gradients are only accessible through a stochastic oracle that returns the gradient at any given point plus a zero-mean finite variance random error. We present the first algorithm that achieves jointly the optimal prediction error rates for least-squares regression, both in terms of forgetting of initial conditions in O(1/n 2), and in terms of dependence on the noise and dimension d of the problem, as O(d/n). Our new algorithm is based on averaged accelerated regularized gradient descent, and may also be analyzed through finer assumptions on initial conditions and the Hessian matrix, leading to dimension-free quantities that may still be small while the " optimal " terms above are large. In order to characterize the tightness of these new bounds, we consider an application to non-parametric regression and use the known lower bounds on the statistical performance (without computational limits), which happen to match our bounds obtained from a single pass on the data and thus show optimality of our algorithm in a wide variety of particular trade-offs between bias and variance.

研究动机与目标

• 弥合随机最小二乘回归中最优偏差与方差速率之间的差距。
• 设计一种对梯度噪声具有鲁棒性，同时实现最优收敛速率的算法。
• 将收敛界扩展至不依赖维度的量，以适用于希尔伯特空间设置。
• 通过非参数回归中的匹配统计下界，证明所提速率的最优性。

提出的方法

• 提出平均加速正则化梯度下降作为核心算法，以联合优化偏差与方差项。
• 基于对初始条件和海森矩阵结构的更精细假设，提出一种改进分析，推导出不依赖维度的收敛界。
• 通过正则化稳定算法，并实现更紧的界，即使在标准最优项较大时，界仍保持较小。
• 对海森矩阵进行谱分析并利用特征值分解，以界定初始条件影响的衰减。
• 运用三角恒等式与复数恒等式，分析迭代序列在频域中的行为。
• 通过将算法界与非参数回归中已知的统计下界进行比较，验证其最优性。

实验结果

研究问题

• RQ1 能否在随机最小二乘回归中，使算法同时实现遗忘初始条件的最优 O(1/n²) 速率与噪声依赖的 O(d/n) 速率？
• RQ2 平均加速梯度下降是否对梯度噪声具有鲁棒性，同时保持最优收敛速率？
• RQ3 能否推导出不依赖维度的收敛界，使其在 d 较大或 n 较小时仍保持紧致？
• RQ4 所推导的算法界是否与非参数回归设置中已知的统计下界相匹配？
• RQ5 正则化在实现加速方法的更紧、不依赖维度的收敛分析中起到何种作用？

主要发现

• 所提出的平均加速正则化梯度下降在最小二乘回归中实现了最优的 O(1/n²) 偏差速率与 O(d/n) 方差速率。
• 由于平均机制的存在，该算法对梯度噪声具有鲁棒性，而标准加速梯度下降则不具备。
• 通过改进分析，得到不依赖维度的收敛界，即使在 d 较大或初始条件范数较大时，界仍保持较小。
• 该算法的性能与非参数回归中已知的统计下界相匹配，证明其在广泛偏差-方差权衡下的最优性。
• 该方法仅需对数据进行单次遍历，即实现最优速率，展现出计算效率。
• 理论界通过谱分析与三角恒等式得到验证，表明对初始条件影响衰减具有紧密控制。