[论文解读] CoCoA: A General Framework for Communication-Efficient Distributed Optimization

Virginia Smith, Simone Forte+4 more|arXiv (Cornell University)|Nov 7, 2016

Stochastic Gradient Optimization Techniques参考文献 12被引用 86

一句话总结

CoCoA 提出了一种通信高效、通用的分布式凸优化框架，适用于机器学习任务，支持灵活的本地求解器和数据划分方式（按样本或按特征），并确保非强凸和非光滑问题的收敛性。通过利用原始-对偶分解和对偶间隙监控实现自适应停止，该框架相较于最先进方法实现了最高达50倍的速度提升。

ABSTRACT

The scale of modern datasets necessitates the development of efficient distributed optimization methods for machine learning. We present a general-purpose framework for distributed computing environments, CoCoA, that has an efficient communication scheme and is applicable to a wide variety of problems in machine learning and signal processing. We extend the framework to cover general non-strongly-convex regularizers, including L1-regularized problems like lasso, sparse logistic regression, and elastic net regularization, and show how earlier work can be derived as a special case. We provide convergence guarantees for the class of convex regularized loss minimization objectives, leveraging a novel approach in handling non-strongly-convex regularizers and non-smooth loss functions. The resulting framework has markedly improved performance over state-of-the-art methods, as we illustrate with an extensive set of experiments on real distributed datasets.

研究动机与目标

• 通过设计一种最小化节点间数据传输的框架，解决分布式机器学习中的通信瓶颈问题，同时保持收敛性。
• 支持广泛的凸正则化损失最小化问题，包括L1正则化和弹性网络模型。
• 在分布式机器上实现灵活的数据划分方式——按训练样本或按特征。
• 将任意高性能单机求解器无缝集成到分布式环境中，同时不牺牲收敛性保证。
• 提供一个统一的框架，推广先前的工作，包括CoCoA-v1和CoCoA+。

提出的方法

• 该框架采用原始-对偶分解策略，每个机器基于其数据分区在原始空间或对偶空间求解局部子问题。
• 采用灵活的通信机制，仅交换对偶变量或次梯度信息，从而降低通信开销。
• 利用对偶性将全局目标函数分解为局部子问题，实现并行计算并最小化协调开销。
• 通过一种新颖的分析方法确保收敛性，该方法使用对偶间隙作为停止准则，适用于非强凸正则项和非光滑损失函数。
• 该框架支持原始和对偶形式，其收敛速率具有理论边界，取决于本地求解器的质量和问题的条件数。
• 采用带参数化的随机坐标更新规则，其收敛速率依赖于本地求解器的近似质量（Θ）和问题特定常数。

实验结果

研究问题

• RQ1 能否设计一种通用的分布式优化框架，支持任意本地求解器，同时确保非强凸和非光滑问题的收敛性？
• RQ2 如何在不牺牲收敛速度或解质量的前提下，最大化分布式学习中的通信效率？
• RQ3 当应用于L1正则化问题（如Lasso和稀疏逻辑回归）时，该框架的理论收敛速率是多少？
• RQ4 对偶间隙能否作为分布式环境中可靠的停止准则，以确保解的准确性？
• RQ5 该框架在不同数据划分策略（按样本 vs. 按特征）和系统配置下的性能如何扩展？

主要发现

• 在真实分布式数据集上，该框架相较于最先进方法实现了最高50倍的速度提升，显著提升了实际效率。
• 对广泛类别的凸正则化目标函数保证收敛，包括L1正则化问题（如Lasso和稀疏逻辑回归）。
• 使用对偶间隙作为解准确性的验证依据，支持理论保证下的提前停止。
• 期望对偶间隙的收敛速率被限制在O(1/t)以内，显式依赖于本地求解器质量（Θ）、条件数和通信频率。
• 对于强凸的局部子问题，该框架在迭代次数上实现线性收敛，其收敛速率取决于条件数和通信频率。
• 该框架将先前工作（如CoCoA-v1和CoCoA+）作为特例统一起来，构建在一个更灵活、统一的理论框架下。