[论文解读] Distributed Proximal Gradient Algorithm for Partially Asynchronous Computer Clusters

Yi Zhou, Yaoliang Yu+3 more|arXiv (Cornell University)|Apr 11, 2017

Stochastic Gradient Optimization Techniques参考文献 46被引用 15

一句话总结

该论文提出m-PAPG，一种用于部分异步计算机集群的分布式模型并行近端梯度算法，实现了大规模机器学习中高效且鲁棒的优化。该工作建立了收敛性保证：每个极限点都是一个临界点，函数值在误差界条件下线性衰减，且在Kurdyka-Łojasiewicz不等式与近端Lipschitz条件成立时，序列收敛至同一临界点。

ABSTRACT

With ever growing data volume and model size, an error-tolerant, communication efficient, yet versatile distributed algorithm has become vital for the success of many large-scale machine learning applications. In this work we propose m-PAPG, an implementation of the flexible proximal gradient algorithm in model parallel systems equipped with the partially asynchronous communication protocol. The worker machines communicate asynchronously with a controlled staleness bound $s$ and operate at different frequencies. We characterize various convergence properties of m-PAPG: 1) Under a general non-smooth and non-convex setting, we prove that every limit point of the sequence generated by m-PAPG is a critical point of the objective function; 2) Under an error bound condition, we prove that the function value decays linearly for every $s$ steps; 3) Under the Kurdyka-$Ł$ojasiewicz inequality, we prove that the sequences generated by m-PAPG converge to the same critical point, provided that a proximal Lipschitz condition is satisfied.

研究动机与目标

• 开发一种可扩展、通信高效且对误差具有容错能力的分布式优化算法，用于大规模机器学习中的模型并行系统。
• 通过引入具有受控延迟边界 $s$ 的部分异步协议，解决批量同步和完全异步系统的局限性。
• 针对模型并行与部分异步环境下的近端梯度法提供形式化收敛性分析，将先前工作扩展至非光滑和非凸设置。
• 建立收敛至临界点、在误差界条件下的线性衰减，以及在Kurdyka-Łojasiewicz不等式下收敛至同一临界点的理论保证。
• 弱化假设以增强适用范围，特别是放松非光滑函数的近端Lipschitz条件。

提出的方法

• m-PAPG将模型向量 $\mathbf{x}$ 划分为不相交的块，并分发到工作节点以实现模型并行。
• 工作节点以受控延迟 $s$ 异步执行更新，确保应用更新时其时效性不过于陈旧。
• 该算法在每个工作节点上使用近端梯度步长，结合光滑梯度下降与近端运算，以处理非光滑正则化项。
• 通过李雅普诺夫函数和递推不等式分析收敛性，以界定迭代序列之间的距离并确保有限长度序列。
• 关键技术工具包括误差界条件和Kurdyka-Łojasiewicz不等式，用于建立线性收敛速率。
• 该方法支持一般非光滑和非凸目标函数，包括 $\ell_1$-正则化和基数函数。

实验结果

研究问题

• RQ1 在具有有界延迟的局部异步环境下，分布式模型并行近端梯度算法能否保持收敛？
• RQ2 在何种条件下，m-PAPG算法中的函数值呈现线性衰减？
• RQ3 m-PAPG生成的序列是否收敛至同一临界点？何种条件可确保这一点？
• RQ4 收敛性保证能否扩展至非凸和非光滑目标函数，包括基数函数和秩函数？
• RQ5 收敛所需的假设是什么？能否为更广泛的应用场景弱化近端Lipschitz条件？

主要发现

• 在一般非光滑和非凸设置下，m-PAPG生成序列的每个极限点均为目标函数的临界点。
• 在误差界条件下，函数值每 $s$ 步衰减一次，表明具有周期性的线性收敛速率。
• 在Kurdyka-Łojasiewicz不等式和近端Lipschitz条件成立时，迭代序列收敛至同一临界点。
• 对于小步长 $\eta$，充分下降性质成立，确保每一步目标函数均足够减小。
• 分析确认基数函数 $\|\mathbf{x}\|_0$ 满足收敛所需的假设，且在极限下具有支持稳定性。
• 该方法对计算误差具有鲁棒性，支持广泛的非光滑和非凸函数，包括 $\ell_1$-范数和基于秩的正则化器。