[论文解读] Analysis of Biased Stochastic Gradient Descent Using Sequential Semidefinite Programs

Bin Hu, Peter Seiler+1 more|arXiv (Cornell University)|Nov 3, 2017

Stochastic Gradient Optimization Techniques参考文献 34被引用 10

一句话总结

本文提出了一种新型的偏差随机梯度下降（SGD）收敛性分析方法，其中梯度更新受到相对误差和绝对误差的双重影响，通过序列半定规划推导出紧致的最坏情况收敛边界。该方法构建了一个线性矩阵不等式（LMI），联合捕捉步长选择、收敛速率、优化精度以及对梯度不准确性的鲁棒性，从而在强凸性和光滑性假设下，为常数步长情形提供了分析性收敛边界。

ABSTRACT

We present a convergence rate analysis for biased stochastic gradient descent (SGD), where individual gradient updates are corrupted by computation errors. We develop stochastic quadratic constraints to formulate a small linear matrix inequality (LMI) whose feasible points lead to convergence bounds of biased SGD. Based on this LMI condition, we develop a sequential minimization approach to analyze the intricate trade-offs that couple stepsize selection, convergence rate, optimization accuracy, and robustness to gradient inaccuracy. We also provide feasible points for this LMI and obtain theoretical formulas that quantify the convergence properties of biased SGD under various assumptions on the loss functions.

研究动机与目标

• 分析梯度更新受相对误差和绝对误差共同影响的偏差随机梯度下降（SGD）的收敛特性。
• 构建一个统一的分析框架，同时捕捉步长、收敛速率、优化精度与对梯度不准确性的鲁棒性之间的权衡。
• 提出一个线性矩阵不等式（LMI），其可行解可导出在一般误差模型下偏差SGD的最坏情况收敛边界。
• 在损失函数满足强凸性和光滑性假设的前提下，推导出常数步长下偏差SGD的解析收敛速率边界。
• 提出一种序列最小化方法，用于分析具有时变步长的偏差SGD。

提出的方法

• 构建一个随机二次约束以建模偏差SGD中的误差动态，进而导出一个小型线性矩阵不等式（LMI）。
• 利用舒尔补（Schur complement）将LMI转换为适合收敛性分析的等价形式。
• 应用序列最小化策略，分析具有时变步长策略的偏差SGD。
• 推导出形式为 $\mathbb{E}\|x_k - x_\star\|^2 \leq \rho^{2k}\mathbb{E}\|x_0 - x_\star\|^2 + H_\star$ 的解析收敛边界，其中 $\rho^2 = 1 - \frac{m^2 - \delta^2\tilde{M}}{m}\alpha + O(\alpha^2)$ 且 $H_\star = \frac{c^2 + 2\delta^2G^2}{m^2 - \delta^2\tilde{M}} + O(\alpha)$。
• 采用归纳法证明上界序列 $V_k$ 收敛至不动点 $V_\star$，从而确保渐近收敛性。
• 利用拉格朗日乘子法与变量替换求解序列更新中的最小化问题。

实验结果

研究问题

• RQ1 梯度计算中同时存在相对误差和绝对误差时，如何影响SGD的收敛速率和最终优化误差？
• RQ2 能否构建一个统一的分析框架，同时捕捉步长、收敛速率、精度与对梯度不准确性的鲁棒性之间的相互作用？
• RQ3 在一般误差模型 $\|e_k\|^2 \leq \delta^2\|u_k\|^2 + c^2$ 下，偏差SGD可实现的最紧致最坏情况收敛边界是什么？
• RQ4 如何利用序列最小化方法分析具有时变步长的偏差SGD？
• RQ5 在强凸性和光滑性假设下，对于常数步长的偏差SGD，可推导出哪些解析收敛速率和最终误差边界？

主要发现

• 偏差SGD的收敛速率由 $\rho^2 = 1 - \frac{m^2 - \delta^2\tilde{M}}{m}\alpha + O(\alpha^2)$ 描述，其依赖于强凸性参数 $m$、相对误差界 $\delta$ 以及梯度范数界 $\tilde{M}$。
• 最终优化误差被限制在 $H_\star = \frac{c^2 + 2\delta^2G^2}{m^2 - \delta^2\tilde{M}} + O(\alpha)$ 以内，其中 $c$ 为绝对误差界，$G^2$ 为梯度范数常数。
• 所提出的基于LMI的分析框架可导出对对抗性、随机性或确定性梯度误差均具有鲁棒性的收敛边界，只要这些误差满足误差模型（1.4）。
• 序列最小化方法使得能够分析具有时变步长策略的偏差SGD，且上界序列 $V_k$ 收敛至不动点 $V_\star$。
• 对于足够小的常数步长，上界 $\hat{U}_k$ 可被无限逼近 $V_\star$，从而确保 $\lim_{k\to\infty} V_k = V_\star$。
• 分析结果表明，当 $\delta > 0$ 时，减小步长无法消除由偏差引起的误差，凸显了在梯度不准确存在时收敛速度与最终精度之间的根本权衡。