[论文解读] Distributed Stochastic Variance Reduced Gradient Methods.

Jason D. Lee, Tengyu Ma+1 more|arXiv (Cornell University)|Jul 27, 2015

Stochastic Gradient Optimization Techniques参考文献 10被引用 10

一句话总结

本文提出了一种分布式随机方差减少梯度（DSVRG）方法，用于在大规模机器学习中最小化凸函数的平均值。该方法通过最小化通信轮次，实现了最优的通信效率和运行时间，匹配已证明的理论下限，并且在条件数相对于本地数据规模不过大时，优于现有方法。

ABSTRACT

We study distributed optimization algorithms for minimizing the average of convex functions. The applications include empirical risk minimization problems in statistical machine learning where the datasets are large and have to be stored on different machines. We design a distributed stochastic variance reduced gradient algorithm that, under certain conditions on the condition number, simultaneously achieves the optimal parallel runtime, amount of communication and rounds of communication among all distributed first-order methods up to constant factors. Our method and its accelerated extension also outperform existing distributed algorithms in terms of the rounds of communication as long as the condition number is not too large compared to the size of data in each machine. We also prove a lower bound for the number of rounds of communication for a broad class of distributed first-order methods including the proposed algorithms in this paper. We show that our accelerated distributed stochastic variance reduced gradient algorithm achieves this lower bound so that it uses the fewest rounds of communication among all distributed first-order algorithms.

研究动机与目标

• 设计一种分布式一阶优化方法，以最小化凸函数的平均值，并实现最优的通信效率。
• 在分布式一阶方法中，实现最优的并行运行时间、通信量和通信轮次。
• 通过证明一类广泛分布式一阶方法的通信效率下限，分析通信效率的根本限制。
• 开发一种加速变体，使其匹配该下限，并在通信轮次上优于现有算法。

提出的方法

• 提出一种专为分布式数据集上的经验风险最小化而设计的分布式随机方差减少梯度（DSVRG）算法。
• 采用方差减少技术以稳定梯度更新，并在分布式环境中降低噪声。
• 设计算法以最小化通信轮次，同时保持最优的收敛速率。
• 提出DSVRG的加速扩展，实现通信轮次的理论下限。
• 分析条件数在决定通信效率和收敛速度中的作用。
• 采用理论框架，推导出一类广泛分布式一阶方法的通信轮次下限。

实验结果

研究问题

• RQ1 一种分布式一阶方法是否能在轮次、通信量和运行时间方面实现最优通信效率？
• RQ2 分布式一阶优化的通信轮次是否存在根本性下限？
• RQ3 条件数如何影响分布式优化算法的通信效率？
• RQ4 DSVRG的加速变体是否能匹配通信轮次的理论下限？
• RQ5 在通信复杂度方面，该方法与现有分布式算法相比如何？

主要发现

• 所提出的DSVRG算法在常数因子范围内实现了最优的并行运行时间、通信量和通信轮次。
• 加速的DSVRG变体匹配了推导出的通信轮次下限，因此是通信最优的。
• 当条件数相对于本地数据规模不过大时，该方法在通信轮次上优于现有分布式算法。
• 本文为一类广泛分布式一阶方法建立了通信轮次的理论下限。
• 在凸性和光滑性的标准假设下，该算法保持了最优的收敛速率。
• 结果表明，通过平衡条件数和本地数据规模，可以最大化通信效率。