[论文解读] Stochastic Composite Least-Squares Regression with convergence rate O(1/n)

Nicolas Flammarion, Francis Bach|arXiv (Cornell University)|Feb 21, 2017

Economic and Environmental Valuation被引用 4

一句话总结

本文提出了一种用于复合最小二乘回归的常数步长随机对偶平均算法，即使在不假设强凸性的情况下，也能实现 O(1/n) 的收敛速率。通过一种新颖的证明方法，将随机递推与确定性递推联系起来，该方法将先前结果推广至任意凸正则化项和 Bregman 几何结构。

ABSTRACT

We consider the minimization of composite objective functions composed of the expectation of quadratic functions and an arbitrary convex function. We study the stochastic dual averaging algorithm with a constant step-size, showing that it leads to a convergence rate of O(1/n) without strong convexity assumptions. This thus extends earlier results on least-squares regression with the Euclidean geometry to (a) all convex regularizers and constraints, and (b) all geome-tries represented by a Bregman divergence. This is achieved by a new proof technique that relates stochastic and deterministic recursions.

研究动机与目标

• 建立在不依赖强凸性假设的前提下，复合最小二乘问题中随机优化的 O(1/n) 收敛速率。
• 将收敛保证从欧几里得几何推广至一般 Bregman 散度，从而在病态条件或结构化设置下实现更优收敛。
• 构建一个统一框架，以处理任意凸正则化项，包括通过指示函数表示的约束和通过范数表示的正则化。
• 提供非渐近收敛界，其依赖于到最优解的马氏距离，而非欧几里得距离。
• 为常数步长方法在病态最小二乘问题中的鲁棒性提供理论依据。

提出的方法

• 采用带有常数步长和平均化的随机对偶平均（SDA）算法，利用对偶空间更新以稳定收敛过程。
• 提出一种新型证明技术，将随机迭代与对应的确定性迭代关联起来，从而实现更紧致的非渐近界。
• 将该方法应用于形式为 min_θ E_z[ℓ(z,θ)] + g(θ) 的问题，其中 ℓ(z,·) 为二次函数，g 为任意扩展值凸函数。
• 通过势函数 h 将框架推广至 Bregman 散度，实现超越欧几里得范数的几何感知优化。
• 推导出收敛速率与 D_h(θ*, θ₀)/n 成正比，其中 D_h 为与 h 相关的 Bregman 散度，在某些情况下优于基于 ℓ₂ 的界。
• 采用连续时间解释，将镜像下降与对偶平均联系起来，揭示了在特定条件下两者的等价性。

实验结果

研究问题

• RQ1 在不假设强凸性的情况下，常数步长的随机对偶平均能否在复合最小二乘问题中实现 O(1/n) 的收敛速率？
• RQ2 如何将收敛速率从欧几里得几何推广至一般的 Bregman 散度？
• RQ3 初始距离到最优解在决定收敛速度中的作用是什么？能否通过马氏类型范数进行度量？
• RQ4 为何在约束设置下，平均投影随机梯度下降在常数步长下会失效，而 SDA 如何克服此问题？
• RQ5 所提出的框架能否通过连续时间动力学统一镜像下降与对偶平均？

主要发现

• 即使在不假设强凸性的情况下，带有常数步长的随机对偶平均算法在复合最小二乘问题中仍能实现 O(1/n) 的收敛速率。
• 收敛速率受 D_h(θ*, θ₀)/n 限制，其中 D_h 为与凸势函数 h 相关的 Bregman 散度，从而在非欧几里得几何中实现更快收敛。
• 该方法可处理任意凸正则化项，包括 ℓ₁-范数、约束的指示函数以及其他范数，均通过对偶平均框架实现。
• 所提出的证明技术建立了随机递推与确定性递推之间的一种新颖联系，从而实现了比以往方法更紧致的非渐近界。
• 在 Sido 数据集上的模拟结果表明，常数步长 SDA 在泛化误差方面与 SAGA（一种先进的有限和方法）表现相当，尤其在低正则化条件下。
• 在高正则化设置下，SDA 展现出亚线性收敛，最终与 SAGA 一致，而常数步长 SGD 则无法收敛，凸显了 SDA 的鲁棒性。