[论文解读] Adding vs. Averaging in Distributed Primal-Dual Optimization

Chenxin Ma, Virginia Smith+4 more|arXiv (Cornell University)|Feb 12, 2015

Stochastic Gradient Optimization Techniques参考文献 37被引用 62

一句话总结

该论文提出 CoCoA$^\text{+}$，一种新型的分布式原始-对偶优化框架，用加法组合替代了保守的本地更新平均，从而在机器数量增加时实现更快的收敛速度和更强的可扩展性。该方法在平滑和非平滑凸损失下均实现了理论保证的收敛性，且最坏情况下的收敛速率与工作节点数量无关，显著优于大规模分布式设置下的 CoCoA。

ABSTRACT

Distributed optimization methods for large-scale machine learning suffer from a communication bottleneck. It is difficult to reduce this bottleneck while still efficiently and accurately aggregating partial work from different machines. In this paper, we present a novel generalization of the recent communication-efficient primal-dual framework (CoCoA) for distributed optimization. Our framework, CoCoA+, allows for additive combination of local updates to the global parameters at each iteration, whereas previous schemes with convergence guarantees only allow conservative averaging. We give stronger (primal-dual) convergence rate guarantees for both CoCoA as well as our new variants, and generalize the theory for both methods to cover non-smooth convex loss functions. We provide an extensive experimental comparison that shows the markedly improved performance of CoCoA+ on several real-world distributed datasets, especially when scaling up the number of machines.

研究动机与目标

• 为通过改进工作节点间本地更新的聚合方式来解决分布式机器学习中的通信瓶颈。
• 通过使收敛速率与机器数量 K 无关，实现在分布式优化中的强可扩展性。
• 将 CoCoA 框架推广以支持本地更新的加法组合，同时保持理论收敛保证。
• 将收敛性分析扩展至非平滑凸损失函数，包括支持向量机（SVM）和非平滑回归。
• 提供原始-对偶收敛速率，以实现实际的停止准则和性能证书。

提出的方法

• 提出一种广义的局部子问题公式，允许使用加法组合代替平均来处理本地更新。
• 引入一个与本地求解器选择解耦的数据相关参数 $\sigma'$，以控制更新步长。
• 在每个工作节点的子问题中使用任意本地求解器（例如 SDCA 或更新的方法），从而可直接将单机优化的进展迁移至分布式设置。
• 推导出原始和对偶目标的理论收敛速率，在一般凸情况下获得更紧的界。
• 在对偶公式中使用块可分的近端项，以支持批量式更新，同时保持通信效率。
• 证明当使用 SDCA 且 $\sigma' = K$ 及数据划分相等时，DisDCA-p 是 CoCoA$^\text{+}$ 的一个特例。

实验结果

研究问题

• RQ1 在分布式优化中，使用本地更新的加法组合是否能比平均方法实现更快的收敛速度，尤其是在机器数量增加时？
• RQ2 在原始-对偶框架中，理论收敛保证是否可以扩展至非平滑凸损失函数？
• RQ3 所提出的框架在使用任意本地求解器（包括现代非坐标方法）时是否仍能保持收敛性？
• RQ4 是否可以使收敛速率与工作节点数量 K 无关，从而实现强可扩展性？
• RQ5 是否可以推导出原始-对偶收敛速率，并用于提供优化质量的实际证书？

主要发现

• CoCoA$^\text{+}$ 实现了强可扩展性：在最坏情况下，收敛速率与机器数量 K 无关，而 CoCoA 的性能随 K 增加而下降。
• 为平滑和非平滑凸损失建立了理论收敛速率，扩展了以往仅限于平滑函数的研究。
• 为 CoCoA 和 CoCoA$^\text{+}$ 推导出原始-对偶收敛速率，从而支持实际的停止准则和性能监控。
• 在真实数据集上的实验表明，CoCoA$^\text{+}$ 在收敛速度上显著优于 CoCoA 和其他基线方法，尤其在 K 较大时。
• 该框架支持任意本地求解器，CoCoA$^\text{+}$ 可被视为 DisDCA-p 的推广，后者仅在特定条件下（SDCA、$\sigma'=K$、等分数据）被恢复。
• 只要参数 $\sigma'$ 被适当地有界，即使在更新被加法组合时，该方法在理论上也是安全的，并且可通过利用数据稀疏性进行调优以获得更好性能。