[论文解读] A General Distributed Dual Coordinate Optimization Framework for Regularized Loss Minimization

Shun Zheng, Jialei Wang+3 more|arXiv (Cornell University)|Apr 13, 2016

Stochastic Gradient Optimization Techniques参考文献 29被引用 8

一句话总结

本文提出了一种新颖的分布式对偶坐标优化框架——分布式交替对偶最大化（Distributed Alternating Dual Maximization, DADM），用于在数据并行设置下的正则化损失最小化。通过引入一种新的对偶公式，利用辅助变量 β 解耦各机器上的局部对偶变量，DADM 实现了高效的分布式优化，并具备可证明的更快收敛速度，尤其在加速变体（Acc-DADM）中表现突出，其迭代复杂度独立于条件数，显著优于以往方法。

ABSTRACT

In modern large-scale machine learning applications, the training data are often partitioned and stored on multiple machines. It is customary to employ the "data parallelism" approach, where the aggregated training loss is minimized without moving data across machines. In this paper, we introduce a novel distributed dual formulation for regularized loss minimization problems that can directly handle data parallelism in the distributed setting. This formulation allows us to systematically derive dual coordinate optimization procedures, which we refer to as Distributed Alternating Dual Maximization (DADM). The framework extends earlier studies described in (Boyd et al., 2011; Ma et al., 2015a; Jaggi et al., 2014; Yang, 2013) and has rigorous theoretical analyses. Moreover with the help of the new formulation, we develop the accelerated version of DADM (Acc-DADM) by generalizing the acceleration technique from (Shalev-Shwartz and Zhang, 2014) to the distributed setting. We also provide theoretical results for the proposed accelerated version and the new result improves previous ones (Yang, 2013; Ma et al., 2015a) whose runtimes grow linearly on the condition number. Our empirical studies validate our theory and show that our accelerated approach significantly improves the previous state-of-the-art distributed dual coordinate optimization algorithms.

研究动机与目标

• 为解决在机器间数据分区的分布式系统中正则化损失最小化的可扩展性挑战。
• 克服以往对偶坐标方法在分布式设置下因对偶变量耦合而带来的局限性。
• 开发一种理论基础扎实、通信高效的优化框架，适用于现代大规模机器学习工作负载。
• 将近端 SDCA 算法扩展至分布式设置，同时保持快速收敛性，并支持 L2-L1 等复杂正则化。

提出的方法

• 通过引入辅助对偶变量 β，提出一种新的分布式对偶公式，以实现各机器上局部对偶变量的解耦。
• 设计一种两步交替优化过程：每台机器上进行局部对偶最大化，随后同步全局主变量。
• 将近端 SDCA 方法适配至分布式设置，支持在局部高效优化复杂正则化问题。
• 通过将 Shalev-Shwartz & Zhang (2014) 的加速技术推广至分布式对偶框架，提出 Acc-DADM。
• 采用通信高效的协议，仅在机器之间交换全局更新，最大限度减少网络开销。
• 理论分析表明，Acc-DADM 的迭代复杂度独立于条件数，优于先前工作。

实验结果

研究问题

• RQ1 能否设计一种新的对偶公式，自然支持分布式数据并行性，同时保持理论收敛保证？
• RQ2 如何将单机近端 SDCA 中的加速技术推广至分布式对偶坐标设置？
• RQ3 与现有方法相比，所提出的加速分布式对偶方法的理论迭代复杂度如何？
• RQ4 与当前最先进的分布式对偶坐标算法相比，新框架在实际中是否实现更快收敛和更低通信成本？
• RQ5 该框架能否在分布式设置下高效处理 L2-L1 等复杂正则化？

主要发现

• 所提出的 Acc-DADM 算法收敛速度优于以往方法，其迭代复杂度独立于条件数，而以往方法的复杂度随条件数线性增长。
• 实验结果表明，Acc-DADM 在所有测试数据集（covtype, rcv1, HIGGS, kdd2010）上达到 1e−3 对偶间隙时，显著减少了通信次数。
• 在 HIGGS 数据集上，当扩展至 32 台机器时，Acc-DADM 相较 CoCoA+ 将通信成本降低了高达 50%。
• 达到精度的时间结果表明，Acc-DADM 在通信效率方面优于 CoCoA+，尤其在 kdd2010 等大规模数据集上表现更优。
• 归一化对偶间隙图证实，Acc-DADM 在所有四个数据集上，针对 λ 和 sp（小批量大小）的所有测试值，收敛速度均快于 CoCoA+。
• 该框架成功将 ProxSDCA 推广至分布式设置，支持 L2-L1 正则化下的高效优化，并保持理论收敛保证。