[论文解读] Stochastic Approximation of Smooth and Strongly Convex Functions: Beyond the $O(1/T)$ Convergence Rate

Lijun Zhang, Zhi‐Hua Zhou|arXiv (Cornell University)|Jan 27, 2019

Risk and Portfolio Optimization被引用 12

一句话总结

该论文提出了一种新颖的随机逼近算法 FASA，通过同时利用光滑性和强凸性，实现了快于标准 $O(1/T)$ 速率的更快收敛。通过采用分阶段的梯度下降与自适应步长，其风险界达到 $O(1/(\rho T^\beta) + \rho F_*/T)$，收敛速率呈指数级 $O(1/2^{T/\rho} + F_*)$，当 $F_* = 0$ 时实现线性收敛。该方法在温和假设下具有构造性且可证明高效。

ABSTRACT

Stochastic approximation (SA) is a classical approach for stochastic convex optimization. Previous studies have demonstrated that the convergence rate of SA can be improved by introducing either smoothness or strong convexity condition. In this paper, we make use of smoothness and strong convexity simultaneously to boost the convergence rate. Let $\\lambda$ be the modulus of strong convexity, $\\kappa$ be the condition number, $F_*$ be the minimal risk, and $\\alpha>1$ be some small constant. First, we demonstrate that, in expectation, an $O(1/[\\lambda T^\\alpha] + \\kappa F_*/T)$ risk bound is attainable when $T = \\Omega(\\kappa^\\alpha)$. Thus, when $F_*$ is small, the convergence rate could be faster than $O(1/[\\lambda T])$ and approaches $O(1/[\\lambda T^\\alpha])$ in the ideal case. Second, to further benefit from small risk, we show that, in expectation, an $O(1/2^{T/\\kappa}+F_*)$ risk bound is achievable. Thus, the excess risk reduces exponentially until reaching $O(F_*)$, and if $F_*=0$, we obtain a global linear convergence. Finally, we emphasize that our proof is constructive and each risk bound is equipped with an efficient stochastic algorithm attaining that bound.

研究动机与目标

• 解决标准随机逼近（SA）收敛速率受限于 $O(1/T)$ 的问题，即使在光滑性和强凸性条件下亦如此。
• 弥补现有 SA 方法的不足：或依赖过强假设，或仅适用于有限和问题，或要求无约束域。
• 设计一种构造性算法，同时利用光滑性和强凸性，以实现更快收敛，尤其在最小风险 $F_*$ 较小时。
• 建立优于 $O(1/T)$ 的风险界，其形式可趋近 $O(1/(\rho T^\beta))$，甚至实现指数衰减，具体取决于 $F_*$。

提出的方法

• 提出 FASA，一种基于分阶段梯度下降（Epoch-GD）的快速随机逼近算法，其初始解和步长均经精心设计。
• 引入双阶段策略：第一阶段采用可变步长调度，实现 $O(1/(\rho T^\beta) + \rho F_*/T)$ 的风险界；第二阶段采用固定步长，实现指数收敛。
• 通过引理 1 的递归风险界控制各阶段的期望过剩风险，利用条件数 $\rho$ 联合强凸性和光滑性。
• 通过在步长调度中设定 $\beta = 2$，实现风险界的几何衰减，从而实现趋近于 $O(F_*)$ 的指数收敛。
• 利用涉及 $\rho$（条件数）、$\rho$（强凸性模量）和 $F_*$（最小风险）的不等式推导理论界，确保在期望下收敛。
• 通过归纳法证明收敛性，表明每轮迭代后期望风险按 $1/2^k$ 衰减，从而实现指数收敛。

实验结果

研究问题

• RQ1 当同时具备光滑性和强凸性时，随机逼近的收敛速率是否可超越 $O(1/T)$？
• RQ2 最小风险 $F_*$ 如何影响在光滑性和强凸性条件下可实现的收敛速率？
• RQ3 能否设计一种构造性算法，实现趋近于 $O(F_*)$ 的过剩风险的指数收敛，而非多项式衰减？
• RQ4 在同时具备光滑性和强凸性的条件下，实现快于 $O(1/T)$ 收敛所需的步长与初始化策略为何？
• RQ5 当 $F_* = 0$ 时，是否可能在这些条件下通过随机算法实现线性收敛？

主要发现

• 当 $T = \tilde{\theta}(\rho^\beta)$ 且 $\beta > 1$ 时，期望下可实现 $O(1/(\rho T^\beta) + \rho F_*/T)$ 的风险界，当 $F_*$ 较小时优于 $O(1/(\rho T))$。
• 当 $F_* = O(1/T^{\beta-1})$ 时，收敛速率趋近于 $O(1/(\rho T^\beta))$，快于 $O(1/(\rho T))$。
• 通过在 Epoch-GD 中采用固定步长，实现指数级 $O(1/2^{T/\rho} + F_*)$ 风险界，过剩风险几何衰减直至达到 $O(F_*)$。
• 若 $F_* = 0$，该算法实现全局线性收敛，即过剩风险按 $O(1/2^{T/\rho})$ 衰减。
• 所提出的算法 FASA 具有构造性且高效，每项风险界均与实际运行的随机算法直接关联。
• 理论界在期望下成立；尽管可通过集中不等式获得高概率界，但会引入 $O(1/T)$ 的置信项，从而限制速率提升。