[论文解读] A Novel Stochastic Stratified Average Gradient Method: Convergence Rate and Its Complexity

Aixiang Chen, Bingchuan Chen+3 more|arXiv (Cornell University)|Oct 21, 2017

Stochastic Gradient Optimization Techniques参考文献 13被引用 6

一句话总结

该论文提出SSAG，一种新颖的随机优化方法，结合分层采样与迭代平均以降低梯度方差，实现与数据规模$N$无关的线性收敛速率$ olinebreak\mathcal{O}((1 - \frac{\mu}{8CL})^k)$，且存储与迭代成本较低。该方法通过利用数据中的类别级结构，在性能上优于SAG及其他算法。

ABSTRACT

SGD (Stochastic Gradient Descent) is a popular algorithm for large scale optimization problems due to its low iterative cost. However, SGD can not achieve linear convergence rate as FGD (Full Gradient Descent) because of the inherent gradient variance. To attack the problem, mini-batch SGD was proposed to get a trade-off in terms of convergence rate and iteration cost. In this paper, a general CVI (Convergence-Variance Inequality) equation is presented to state formally the interaction of convergence rate and gradient variance. Then a novel algorithm named SSAG (Stochastic Stratified Average Gradient) is introduced to reduce gradient variance based on two techniques, stratified sampling and averaging over iterations that is a key idea in SAG (Stochastic Average Gradient). Furthermore, SSAG can achieve linear convergence rate of $\mathcal {O}((1-\fracμ{8CL})^k)$ at smaller storage and iterative costs, where $C\geq 2$ is the category number of training data. This convergence rate depends mainly on the variance between classes, but not on the variance within the classes. In the case of $C\ll N$ ($N$ is the training data size), SSAG's convergence rate is much better than SAG's convergence rate of $\mathcal {O}((1-\fracμ{8NL})^k)$. Our experimental results show SSAG outperforms SAG and many other algorithms.

研究动机与目标

• 解决大规模优化中收敛速度与计算成本之间的权衡问题。
• 在不增加迭代成本或存储需求的前提下，降低随机优化中的梯度方差。
• 开发一种与训练数据规模$N$无关的线性收敛方法，尤其在$C \ll N$时表现更优。
• 通过新的收敛-方差不等式（CVI）形式化收敛速率与梯度方差之间的关系。
• 设计一种适用于在大规模数据集上训练深度神经网络、并具备强理论保证的算法。

提出的方法

• 提出一种新的收敛-方差不等式（CVI），以形式化收敛速率与梯度方差之间的关联。
• 采用分层采样，通过在不同数据类别间更均匀地采样，降低初始梯度方差。
• 利用过去梯度的迭代平均，受SAG启发，以在长时间内保持低方差。
• 提出SSAG（随机分层平均梯度）方法，作为分层采样与梯度平均的混合方法。
• 通过强凸性与矩阵分析推导收敛速率界，证明其线性收敛性。
• 建立复杂度界，表明其依赖于类别数$C$而非数据规模$N$。

实验结果

研究问题

• RQ1 通过在采样过程中引入分层采样，能否比标准SGD或SAG更有效地降低梯度方差？
• RQ2 将分层采样与迭代平均相结合，是否能实现与数据规模$N$无关的线性收敛速率？
• RQ3 在随机优化中，梯度方差与收敛速率之间的理论关系是什么？
• RQ4 能否证明SSAG的收敛速率仅依赖于类别数$C$，而非完整数据集规模$N$？
• RQ5 在实际应用中，SSAG相较于SAG、SVRG与SAGA在收敛速度与计算成本方面表现如何？

主要发现

• SSAG实现了$ olinebreak\mathcal{O}((1 - \frac{\mu}{8CL})^k)$的线性收敛速率，该速率依赖于类别数$C$而非数据规模$N$。
• 当$C \ll N$时，SSAG的收敛速率显著快于SAG的$ olinebreak\mathcal{O}((1 - \frac{\mu}{8NL})^k)$。
• 该方法保持了低存储与迭代成本，适用于大规模深度学习任务。
• 理论分析证明，收敛速率与$N$无关，仅依赖于类间方差。
• 实验结果证实，SSAG在收敛速度与稳定性方面优于SAG、SVRG、SAGA与小批量SGD。
• 收敛界通过Schur补条件与矩阵分析推导得出，建立了$E\|W^k - W^*\|^2 \leq (1 - \frac{\mu}{8CL})^k \cdot \mathcal{O}(\sigma_c^2(W^*))$。