[论文解读] Amortized Analysis on Asynchronous Gradient Descent

Yun Kuen Cheung, Richard Cole|arXiv (Cornell University)|Nov 29, 2014

Optimization and Search Problems参考文献 21被引用 9

一句话总结

本文提出了一种用于异步梯度下降（AGD）的新型摊销分析框架，允许存在劣质更新并最小化通信开销，从而实现核心数的线性加速。通过采用连续时间定时模型和基于海森矩阵的步长选择方法，该方法确保在凸函数上的收敛性，并适用于大规模问题，如对称正定线性系统和可分凸最小化问题。

ABSTRACT

Gradient descent is an important class of iterative algorithms for minimizing convex functions. Classically, gradient descent has been a sequential and synchronous process. Distributed and asynchronous variants of gradient descent have been studied since the 1980s, and they have been experiencing a resurgence due to demand from large-scale machine learning problems running on multi-core processors. We provide a version of asynchronous gradient descent (AGD) in which communication between cores is minimal and for which there is little synchronization overhead. We also propose a new timing model for its analysis. With this model, we give the first amortized analysis of AGD on convex functions. The amortization allows for bad updates (updates that increase the value of the convex function); in contrast, most prior work makes the strong assumption that every update must be significantly improving. Typically, the step sizes used in AGD are smaller than those used in its synchronous counterpart. We provide a method to determine the step sizes in AGD based on the Hessian entries for the convex function. In certain circumstances, the resulting step sizes are a constant fraction of those used in the corresponding synchronous algorithm, enabling the overall performance of AGD to improve linearly with the number of cores. We give two applications of our amortized analysis.

研究动机与目标

• 解决在更新可能非改进或延迟时异步梯度下降的收敛性挑战。
• 减少大规模机器学习中分布式梯度下降的通信和同步开销。
• 构建一种支持连续、非同步更新的定时模型，无需等待，从而提升可扩展性。
• 通过推导与同步算法中成比例的步长，实现核心数增加时的线性性能提升。
• 为两类大规模凸优化问题提供收敛性的理论保证：线性系统和可分凸函数。

提出的方法

• 提出一种连续时间定时模型，其中每个核心独立以自身速度更新，消除同步等待。
• 引入有界异步性假设，确保过时信息不会阻碍收敛。
• 采用摊销分析，容忍使目标函数值增加的单个更新，与以往工作要求严格改进步骤不同。
• 基于凸函数的海森矩阵条目推导步长，即使在梯度延迟时也能确保稳定性和收敛性。
• 将该方法应用于两类问题：求解对称正定线性系统 $Ap = b$ 和具有二次正则化的可分凸函数最小化。
• 分析具有互补-CES或列昂蒂夫效用函数的费舍尔市场中的异步瓦尔拉拍卖动态，证明其收敛至市场均衡。

实验结果

研究问题

• RQ1 当单个更新可能暂时增加目标函数值时，异步梯度下降是否仍能收敛？
• RQ2 如何在保持收敛性的前提下，最小化分布式梯度下降中的通信和同步开销？
• RQ3 何种步长规则可确保在存在延迟梯度的异步设置中实现收敛？
• RQ4 所提出的AGD能否在大规模凸优化问题中实现核心数的线性加速？
• RQ5 在具有特定效用函数的费舍尔市场中，异步瓦尔拉拍卖是否收敛至市场均衡？

主要发现

• 摊销分析允许使目标函数值增加的劣质更新，相较于以往要求严格改进步骤的工作，提供了更现实的模型。
• AGD中的步长在基于海森矩阵条目推导时，为同步对应版本的常数倍，从而实现核心数增加时的线性加速。
• 在所提出的定时模型下，该算法可收敛至对称正定线性系统 $Ap = b$ 的最优解。
• 对于问题类 $\sum_{i=1}^{n}f_{i}(p_{i}) + \frac{1}{2}\|Ap-b\|^{2}$，该方法在最小通信和无同步开销下确保收敛。
• 具有互补-CES或列昂蒂夫效用函数的费舍尔市场中，异步瓦尔拉拍卖的一个版本收敛至市场均衡。
• 理论边界表明，通过摊销分析可控制过时梯度带来的误差，即使存在持续延迟也能防止发散。