[论文解读] An Accelerated Communication-Efficient Primal-Dual Optimization Framework for Structured Machine Learning

Chenxin Ma, Martin Jaggi+3 more|arXiv (Cornell University)|Nov 14, 2017

Stochastic Gradient Optimization Techniques参考文献 5被引用 4

一句话总结

本文提出 AccCoCoA+，一种用于结构化机器学习问题的加速、通信高效的原始-对偶优化框架。通过将 Nesterov 风格的加速集成到 CoCoA+ 框架中，该方法实现了最优的 $Ø(1/t^2)$ 收敛速率，且常数显著小于 CoCoA+，在减少通信开销的分布式设置下展现出更快的收敛速度和更优的性能。

ABSTRACT

Distributed optimization algorithms are essential for training machine learning models on very large-scale datasets. However, they often suffer from communication bottlenecks. Confronting this issue, a communication-efficient primal-dual coordinate ascent framework (CoCoA) and its improved variant CoCoA+ have been proposed, achieving a convergence rate of $\mathcal{O}(1/t)$ for solving empirical risk minimization problems with Lipschitz continuous losses. In this paper, an accelerated variant of CoCoA+ is proposed and shown to possess a convergence rate of $\mathcal{O}(1/t^2)$ in terms of reducing suboptimality. The analysis of this rate is also notable in that the convergence rate bounds involve constants that, except in extreme cases, are significantly reduced compared to those previously provided for CoCoA+. The results of numerical experiments are provided to show that acceleration can lead to significant performance gains.

研究动机与目标

• 为解决分布式机器学习中的通信瓶颈，通过改进现有通信高效框架的收敛速率。
• 开发一种通信高效的原始-对偶算法，实现比 CoCoA+ 更快的收敛速度，同时对子问题解的不精确性保持鲁棒性。
• 与 CoCoA+ 相比，提供收敛速率界中更紧致的常数的理论保证。
• 通过在真实世界数据集上的广泛数值实验，验证加速的实际优势。

提出的方法

• 该框架通过在 dual 更新步骤中引入 Nesterov 风格的加速，扩展了 CoCoA+，实现子最优性更快的减少。
• 它保持了原始-对偶结构，其中本地工作节点使用任意本地求解器解决子问题，而全局对偶变量通过基于动量的方案进行更新。
• 该算法采用可变步长策略，参数为 $γ$，以平衡收敛速度与通信效率。
• 该方法对子问题解的不精确性具有鲁棒性，允许在有限内迭代次数下进行实际实现。
• 理论分析建立了子最优性减少的 $Ø(1/t^2)$ 收敛速率，其常数显著小于 CoCoA+。
• 该框架支持光滑与非光滑正则化项，可应用于 Lasso 和 SVM 问题。

实验结果

研究问题

• RQ1 能否有效将加速机制集成到 CoCoA+ 框架中，以在分布式机器学习中实现更快的收敛？
• RQ2 加速变体是否在提升收敛速度的同时保持通信效率？
• RQ3 AccCoCoA+ 与 CoCoA+ 在收敛速率中的理论常数有何比较？
• RQ4 正则化参数和子问题求解精度对加速方法性能有何影响？
• RQ5 在分布式设置中，该算法如何随机器数量扩展？

主要发现

• AccCoCoA+ 实现了子最优性减少的最优 $Ø(1/t^2)$ 收敛速率，优于 CoCoA+ 的 $Ø(1/t)$ 速率。
• AccCoCoA+ 的理论界中常数显著小于 CoCoA+，尤其在非极端情况下更为明显。
• 数值实验表明，加速可实现更快的对偶间隙减少，尤其在较小正则化参数（$\lambda$）时收益更显著。
• 对于 Lasso 问题，当 $\lambda_1$ 较小时，AccCoCoA+ 更快收敛至最优解，表明其在稀疏解上性能更优。
• 子问题求解的内迭代次数 $H$ 对运行时间具有非单调影响，存在一个最优 $H$ 值，可在计算与通信间实现平衡。
• 随着 $K$ 增加，AccCoCoA+ 的扩展性优于 CoCoA+，尤其当 $\gamma=1$ 时，运行时间稳定，不受机器数量影响。