[论文解读] Analysis and Implementation of an Asynchronous Optimization Algorithm for the Parameter Server

Arda Aytekin, Hamid Reza Feyzmahdavian+1 more|arXiv (Cornell University)|Oct 18, 2016

Stochastic Gradient Optimization Techniques参考文献 14被引用 29

一句话总结

该论文提出了一种用于参数服务器框架的异步近似增量聚合梯度算法，可处理一般凸正则化项和约束条件。该算法建立了与异步程度相关的显式步长规则下的线性收敛性，当系统同步运行时可恢复经典结果，并在模拟数据和真实世界数据集上验证了性能。

ABSTRACT

This paper presents an asynchronous incremental aggregated gradient algorithm and its implementation in a parameter server framework for solving regularized optimization problems. The algorithm can handle both general convex (possibly non-smooth) regularizers and general convex constraints. When the empirical data loss is strongly convex, we establish linear convergence rate, give explicit expressions for step-size choices that guarantee convergence to the optimum, and bound the associated convergence factors. The expressions have an explicit dependence on the degree of asynchrony and recover classical results under synchronous operation. Simulations and implementations on commercial compute clouds validate our findings.

研究动机与目标

• 为参数服务器架构中的大规模机器学习开发一种支持异步更新和一般凸正则化项的优化算法。
• 在经验数据损失为强凸函数时，建立该算法在异步环境下的线性收敛性。
• 提供显式步长规则，确保在已知异步程度下收敛至全局最优解，且该规则依赖于异步程度。
• 通过在基于云的计算集群上的模拟和真实世界实验，验证理论边界的准确性。

提出的方法

• 该算法采用异步增量聚合梯度方法，每个工作节点在其本地数据上计算梯度，并以延迟方式将结果发送给主节点。
• 主节点维护一个全局迭代变量，并聚合所有工作节点最新接收到的梯度以更新参数向量。
• 通过应用近端算子来处理优化问题中的一般凸正则化项（例如ℓ1正则化以实现稀疏性）和凸约束。
• 该方法采用基于理论分析推导出的常数步长规则，显式考虑系统中的最大延迟（即异步程度）。
• 收敛性分析采用李雅普诺夫函数，建立了收敛因子依赖于异步程度和强凸性参数的线性收敛性。
• 该框架使用Julia语言在Amazon EC2上实现，并基于真实数据集（rcv1、url、epsilon）验证了理论发现。

实验结果

研究问题

• RQ1 异步近端增量聚合梯度方法能否在具有通用凸正则化项和约束的强凸问题中实现线性收敛？
• RQ2 在参数服务器设置中，何种显式步长规则可确保在已知异步程度下的收敛性？
• RQ3 异步程度如何影响算法的收敛速度和稳定性？
• RQ4 理论收敛边界是否可在真实世界大规模数据集上通过实证方法得到验证？

主要发现

• 当经验数据损失为强凸函数时，即使存在异步更新，该算法仍能实现向全局最优解的线性收敛。
• 推导出的显式步长规则依赖于最大延迟（即异步程度），并能保证收敛性；当延迟为零时，可恢复经典同步结果。
• 理论收敛因子有界，且显式依赖于异步程度，在如epsilon等更密集的数据集上观察到更紧的边界。
• 在Amazon EC2上使用三个真实数据集（rcv1、url、epsilon）进行的模拟和实验表明，迭代序列收敛至最优解，且理论上的上界能准确预测收敛行为。
• 随着数据集密度的提高，理论边界与实际收敛之间的差距逐渐缩小，表明在更密集的问题上理论预测更为紧密。