[论文解读] Implicit Regularization of Accelerated Methods in Hilbert Spaces.

Nicolò Pagliana, Lorenzo Rosasco|arXiv (Cornell University)|May 1, 2019

Stochastic Gradient Optimization Techniques被引用 8

一句话总结

本文分析了在希尔伯特空间中线性最小二乘问题的Nesterov加速与heavy-ball方法中的隐式正则化，表明尽管加速可加快偏差衰减，但会引入不稳定性，从而限制了其在精度上相对于梯度下降的优势。相反，加速主要通过降低计算成本来实现与梯度下降相当的性能。

ABSTRACT

We study learning properties of accelerated gradient descent methods for linear least-squares in Hilbert spaces. We analyze the implicit regularization properties of Nesterov acceleration and a variant of heavy-ball in terms of corresponding learning error bounds. Our results show that acceleration can provides faster bias decay than gradient descent, but also suffers of a more unstable behavior. As a result acceleration cannot be in general expected to improve learning accuracy with respect to gradient descent, but rather to achieve the same accuracy with reduced computations. Our theoretical results are validated by numerical simulations. Our analysis is based on studying suitable polynomials induced by the accelerated dynamics and combining spectral techniques with concentration inequalities.

研究动机与目标

• 理解加速梯度方法在无限维希尔伯特空间中的隐式正则化特性。
• 研究加速是否改善了学习精度，或主要通过降低计算成本来实现与标准梯度下降的性能对比。
• 在泛函分析框架下，刻画Nesterov方法与heavy-ball变体引起的偏差与方差权衡。
• 利用谱分析与集中不等式，建立加速方法的理论误差界。
• 通过希尔伯特空间中学习动力学的数值模拟，验证理论发现。

提出的方法

• 使用希尔伯特空间中的二阶微分方程及其关联的正交多项式建模加速动力学。
• 分析Nesterov与heavy-ball动量所诱导多项式的谱性质，将其与学习误差衰减率关联。
• 通过将谱技术与随机设计矩阵的集中不等式相结合，推导学习误差界。
• 利用紧算子上的函数演算，比较加速方法与梯度下降的偏差衰减率。
• 以近似误差与样本误差的形式表述收敛保证，明确依赖于加速参数。
• 通过在再生核希尔伯特空间中的合成最小二乘问题上的数值模拟，验证理论预测。

实验结果

研究问题

• RQ1 与梯度下降相比，Nesterov加速在希尔伯特空间中的线性最小二乘学习中如何影响偏差衰减率？
• RQ2 隐式正则化在加速方法中起什么作用，它如何影响泛化性能？
• RQ3 加速是否带来更高的测试精度，还是其主要优势在于降低计算成本？
• RQ4 加速所诱导多项式的谱性质如何影响学习误差界？
• RQ5 能否有效结合集中不等式与谱分析，以界定加速方法的泛化误差？

主要发现

• Nesterov加速比梯度下降实现更快的偏差衰减，表明近似误差收敛性得到改善。
• 尽管偏差衰减更快，加速方法表现出更高的不稳定性，导致有限样本设置下可能产生更大的方差或误差。
• 由于不稳定性增加，更快的偏差衰减通常不会转化为更好的学习精度，从而限制了整体泛化性能的提升。
• 与梯度下降相比，加速的主要优势在于降低计算成本，而非提升最终测试精度。
• 通过谱分析与集中不等式推导的理论误差界，证实了加速学习中速度与稳定性的权衡。
• 数值模拟验证了理论发现，表明加速方法收敛更快，但可能并不比标准梯度下降具有更好的泛化能力。