[论文解读] An efficient distributed learning algorithm based on effective local functional approximations

Dhruv Mahajan, Nikunj Agrawal+3 more|arXiv (Cornell University)|Oct 31, 2013

Stochastic Gradient Optimization Techniques参考文献 27被引用 6

一句话总结

本文提出FADL，一种新颖的分布式学习算法，通过使用局部函数逼近来降低大规模机器学习中的通信开销。通过允许每个节点求解其局部逼近的目标函数，并迭代地组合结果，FADL实现了全局线性收敛，并在通信密集型环境中优于最先进的方法（如Terascale），在各种数据集上实现了1–10倍的加速。

ABSTRACT

Scalable machine learning over big data is an important problem that is receiving a lot of attention in recent years. On popular distributed environments such as Hadoop running on a cluster of commodity machines, communication costs are substantial and algorithms need to be designed suitably considering those costs. In this paper we give a novel approach to the distributed training of linear classifiers (involving smooth losses and L2 regularization) that is designed to reduce the total communication costs. At each iteration, the nodes minimize locally formed approximate objective functions; then the resulting minimizers are combined to form a descent direction to move. Our approach gives a lot of freedom in the formation of the approximate objective function as well as in the choice of methods to solve them. The method is shown to have $O(log(1/ε))$ time convergence. The method can be viewed as an iterative parameter mixing method. A special instantiation yields a parallel stochastic gradient descent method with strong convergence. When communication times between nodes are large, our method is much faster than the Terascale method (Agarwal et al., 2011), which is a state of the art distributed solver based on the statistical query model (Chuet al., 2006) that computes function and gradient values in a distributed fashion. We also evaluate against other recent distributed methods and demonstrate superior performance of our method.

研究动机与目标

• 为解决在大数据环境下分布式机器学习中的高通信成本问题，特别是在通信延迟主导计算时间的情况下。
• 设计一种灵活的分布式优化框架，在最小化通信轮次的同时保持强收敛保证。
• 实现在去中心化、样本分区环境下的线性分类器高效训练，损失函数平滑且带有L2正则化。
• 为一类迭代参数混合方法建立全局线性收敛率（glrc）的理论基础。
• 在总训练时间和通信效率方面，证明该方法优于现有方法（如Terascale、CoCoA和ADMM）

提出的方法

• 该算法在每个节点上基于本地存储的数据分区，对全局目标函数进行局部函数逼近。
• 每个节点使用任何合适的本地优化方法最小化其自身的逼近目标函数，从而在计算上保持灵活性。
• 将得到的局部最小解聚合，形成全局迭代的下降方向，确保全局目标函数下降。
• 该方法被表述为一种迭代参数混合（IPM）方案，在弱凸性和梯度一致性条件下可保证收敛。
• 一个关键创新是采用梯度子一致性处理特征分区，使得节点间特征集可重叠，同时不牺牲收敛性。
• 该算法支持联合样本-特征分区，并可扩展至非凸设置，尽管在凸情况下收敛性分析更简单。

实验结果

研究问题

• RQ1 我们能否设计一种分布式学习算法，在减少通信轮次的同时保持全局线性收敛？
• RQ2 在通信密集型环境中，允许使用灵活逼近和提前停止的本地优化是否能改善总训练时间？
• RQ3 该方法能否推广到具有重叠特征集的特征分区设置中，同时保持收敛性？
• RQ4 在通信与计算的权衡方面，该方法与最先进的求解器（如Terascale、CoCoA和ADMM）相比如何？
• RQ5 是否存在一类基于函数逼近的迭代参数混合方法的可证明全局线性收敛率？

主要发现

• FADL实现了全局线性收敛率（glrc），确保每轮迭代中误差按恒定因子减少，从而在达到ε-最优性时仅需O(log(1/ε))轮迭代。
• 与Terascale相比，FADL将通信轮次减少了几个数量级，尤其在通信密集型环境中表现显著。
• 尽管每轮计算量更高，FADL在多个数据集（包括kdd2010、url和webspam）上仍实现了1–10倍的加速。
• FADL的总计算-通信成本比平均为1.2–1.6，显著优于CoCoA（0.1–0.16）和ADMM（1.3–3.5），表明其具有更好的平衡性。
• 即使在中等和低维数据集上，FADL在总训练时间上也优于CoCoA和ADMM，展现出跨场景的鲁棒性。
• 该方法支持灵活的数据使用方式，包括重叠特征分区和重采样，且不损害收敛性或性能。