[论文解读] Distributed Stochastic Variance Reduced Gradient Methods and A Lower Bound for Communication Complexity

Jason D. Lee, Qihang Lin+2 more|arXiv (Cornell University)|Jul 27, 2015

Stochastic Gradient Optimization Techniques参考文献 33被引用 42

一句话总结

本文提出了分布式随机方差减少梯度（DSVRG）及其加速变体（DASVRG），用于分布式凸优化，实现了大规模机器学习中最优的通信复杂度和运行时间。通过利用并行批量梯度计算和高效的数据分片，DSVRG在轮次、通信量和运行时间上均达到最优收敛速度（常数因子内），DASVRG则达到了已知通信轮次的理论下界。

ABSTRACT

We study distributed optimization algorithms for minimizing the average of convex functions. The applications include empirical risk minimization problems in statistical machine learning where the datasets are large and have to be stored on different machines. We design a distributed stochastic variance reduced gradient algorithm that, under certain conditions on the condition number, simultaneously achieves the optimal parallel runtime, amount of communication and rounds of communication among all distributed first-order methods up to constant factors. Our method and its accelerated extension also outperform existing distributed algorithms in terms of the rounds of communication as long as the condition number is not too large compared to the size of data in each machine. We also prove a lower bound for the number of rounds of communication for a broad class of distributed first-order methods including the proposed algorithms in this paper. We show that our accelerated distributed stochastic variance reduced gradient algorithm achieves this lower bound so that it uses the fewest rounds of communication among all distributed first-order algorithms.

研究动机与目标

• 设计一种分布式一阶优化方法，以在m台机器上最小化N个凸函数的平均值，实现最优的通信与运行时间。
• 通过最小化通信轮次来应对大规模机器学习中高通信成本的挑战，同时保持快速收敛。
• 为分布式一阶方法建立通信轮次的理论下界，并证明DASVRG可达到该下界。
• 将SVRG算法扩展至分布式设置，实现高效的数据分配与无偏梯度估计。
• 通过实证验证，DSVRG与DASVRG在真实数据集上的通信效率和运行时间上优于现有方法。

提出的方法

• DSVRG算法在m台机器上并行计算批量梯度，并使用从共享数据点构建的方差减少随机梯度进行串行更新。
• 采用高效的分摊方案，将N个函数分布在m台机器上，每台机器存储C个函数，包括n个主数据点和额外的∼n个共享函数，以实现无偏梯度估计。
• 算法采用步长η = 1/L，并使用控制变量降低梯度方差，确保以最优速率收敛。
• DASVRG引入一种基于Nesterov风格动量的加速变体，并采用两级更新策略，以减少通信轮次。
• 为一类广泛的分布式一阶方法（包括DSVRG与DASVRG）推导出通信轮次的理论下界。
• 该方法假设平均函数满足L-利普希茨连续性与μ-强凸性，条件数为κ = L/μ，且要求每台机器具备足够的内存（C > n）。

实验结果

研究问题

• RQ1 是否存在一种分布式一阶方法，可在并行运行时间、总通信量和通信轮次上实现最优收敛？
• RQ2 所提出的DSVRG算法在每台机器内存有限的分布式设置下，是否仍能保持方差减少的优势？
• RQ3 DSVRG的加速变体能否将通信轮次减少至低于现有方法？
• RQ4 是否存在分布式一阶方法的通信轮次理论下界？能否设计出达到该下界的算法？
• RQ5 在不同数据集和条件数下，DSVRG与DASVRG与DisDCA及加速梯度方法的实际性能如何比较？

主要发现

• 在合理假设下，DSVRG在所有分布式一阶方法中，于并行运行时间、总通信量和通信轮次上均达到最优收敛速度（常数因子内）。
• DASVRG达到了新推导出的通信轮次理论下界，使其成为最通信高效的分布式一阶方法。
• 在Million Song与Covtype数据集上，DSVRG与DASVRG在通信效率上优于DisDCA与加速梯度方法，并实现了相当或更优的运行时间。
• 当λ减小（条件数增大）时，所有算法性能均下降，但DSVRG与DASVRG在所有设置下均保持更优的通信轮次表现。
• 当m = 5、10和15时，DSVRG与DASVRG在通信轮次上始终少于DisDCA与加速梯度方法，尤其在条件数增大时优势更明显。
• 实证结果表明，DSVRG与DASVRG在不同数据分布与条件数下均表现稳健，且DASVRG在通信效率上略占优势。