[论文解读] A Parallel SGD method with Strong Convergence

Dhruv Mahajan, S. Sathiya Keerthi+2 more|arXiv (Cornell University)|Nov 4, 2013

Face and Expression Recognition参考文献 12被引用 13

一句话总结

本文提出了一种新型的并行随机梯度下降（SGD）方法，通过在每个节点上使用目标函数的局部优化近似，并借助倾斜项强制实现梯度一致性，从而实现了强全局线性收敛。该方法在早期收敛和泛化性能方面优于现有的分布式方法，尤其在 kdd2010 等大规模、高维数据集上表现突出。

ABSTRACT

This paper proposes a novel parallel stochastic gradient descent (SGD) method that is obtained by applying parallel sets of SGD iterations (each set operating on one node using the data residing in it) for finding the direction in each iteration of a batch descent method. The method has strong convergence properties. Experiments on datasets with high dimensional feature spaces show the value of this method.

研究动机与目标

• 为解决现有并行SGD方法在分布式学习中因局部近似不一致导致的收敛性差和方差高的问题。
• 开发一种分布式优化方法，在保证强收敛性的同时，实现在多个节点上的高效并行计算。
• 在大规模线性分类任务中，特别是在高维特征空间下，提升早期收敛和泛化性能。
• 减少在分布式训练设置中达到最优性能所需的通信轮次数量。

提出的方法

• 该方法采用批量级下降框架，每轮在当前权重 $ w^r $ 处计算全局梯度 $ g^r $，并将其广播至所有 $ P $ 个节点。
• 每个节点 $ p $ 构建全局目标函数 $ f(w) $ 的一个局部精确近似 $ \hat{f}_p(w) $，并通过项 $ (g^r - \lambda w^r - \nabla L_p(w^r)) \cdot (w - w^r) $ 确保在 $ w^r $ 处的梯度一致性。
• 每个节点在其局部近似 $ \hat{f}_p $ 上从 $ w^r $ 开始执行 $ s $ 个SGD周期，以计算局部下降方向 $ d_p $。
• 全局搜索方向 $ d^r $ 由各节点的 $ d_p $ 构成凸组合，若所有 $ d_p $ 均为下降方向，则保证全局下降。
• 采用满足Armijo-Wolfe条件的线搜索确定步长 $ t $，以确保目标函数的充分下降和曲率条件。
• 该方法集成了类似信赖域的线搜索，并使用通信高效的AllReduce架构实现节点间聚合。

实验结果

研究问题

• RQ1 能否设计一种并行SGD方法，在保持分布式环境下计算效率的同时，实现强全局线性收敛？
• RQ2 如何构建全局目标函数的局部近似，以确保在各节点间保持梯度一致性和下降方向的有效性？
• RQ3 局部SGD周期数 $ s $ 对该方法的收敛速度和通信效率有何影响？
• RQ4 与最先进的分布式方法（如SQM和Hybrid）相比，该方法在收敛速度和泛化性能方面表现如何？
• RQ5 当全局目标函数为非凸函数（如深度学习场景）时，该方法在何种条件下仍能保持强收敛性？

主要发现

• 所提方法实现了全局线性收敛（glrc），确保目标函数差距 $ (f - f^*) $ 的可预测且快速下降。
• 在包含841万个样本的kdd2010数据集上，该方法达到相同目标函数精度所需的通信轮次显著少于SQM和Hybrid。
• 该方法在早期训练阶段便更快达到稳定的泛化性能（以AUPRC衡量），优于SQM和Hybrid。
• 当节点数从25增加到100时，该方法与SQM/Hybrid之间的性能差距缩小，原因在于高节点数下 $ \hat{f}_p $ 的近似质量下降。
• 该方法对局部SGD周期数 $ s $ 敏感，最优 $ s $ 需在局部优化与全局收敛速度之间取得平衡。
• 在高维数据和通信预算有限的场景下，该方法在目标函数下降和AUPRC方面均优于SQM和Hybrid。