[论文解读] L1-Regularized Distributed Optimization: A Communication-Efficient Primal-Dual Framework

Virginia Smith, Simone Forte+2 more|arXiv (Cornell University)|Dec 13, 2015

Sparse and Compressive Sensing Techniques参考文献 26被引用 12

一句话总结

本文提出 proxCoCoA⁺，一种用于分布式 L₁-正则化优化的通信高效原始-对偶框架，支持原始与对偶公式，可灵活按特征或数据点进行数据划分。在 Amazon EC2 上，其性能相比最先进方法最高提升 50 倍，并通过广义分析框架为非强凸正则化项提供了新颖的收敛性保证。

ABSTRACT

Despite the importance of sparsity in many large-scale applications, there are few methods for distributed optimization of sparsity-inducing objectives. In this paper, we present a communication-efficient framework for L1-regularized optimization in the distributed environment. By viewing classical objectives in a more general primal-dual setting, we develop a new class of methods that can be efficiently distributed and applied to common sparsity-inducing models, such as Lasso, sparse logistic regression, and elastic net-regularized problems. We provide theoretical convergence guarantees for our framework, and demonstrate its efficiency and flexibility with a thorough experimental comparison on Amazon EC2. Our proposed framework yields speedups of up to 50x as compared to current state-of-the-art methods for distributed L1-regularized optimization.

研究动机与目标

• 为解决稀疏性诱导型 L₁-正则化问题（如 Lasso 和稀疏逻辑回归）缺乏高效分布式方法的问题。
• 克服现有原始-对偶方法（如 CoCoA⁺）的局限性，后者仅适用于强凸正则化项，且要求按数据点划分数据。
• 开发一种统一框架，支持原始与对偶优化，实现按特征或数据点灵活分配数据。
• 为非强凸正则化项（包括 L₁）提供理论收敛性保证，且不依赖平滑化技术。
• 通过在真实世界分布式数据集上的大量实验，展示显著的性能提升。

提出的方法

• 该框架通过在广义原始-对偶设置下重新诠释优化问题，扩展了 CoCoA⁺，从而可直接处理 L₁ 等非强凸正则化项。
• 支持按特征或数据点划分数据，提升了高维设置下（L₁ 正则化常见）的通信效率。
• 在每台机器上使用任意本地求解器（如坐标下降法），子问题可任意精度求解，增强了灵活性与可扩展性。
• 提出一种新颖的收敛性分析，建立了强凸与非强凸情况下的原始-对偶收敛速率，且无需通过平滑化添加人工强凸性。
• 该框架在 Apache Spark 中实现，支持 glmnet 和 blitz 等内部求解器，关键调参参数 H 控制本地近似质量。
• 证明 proxCoCoA⁺ 在应用于弹性网络正则化问题时，可退化为 CoCoA⁺ 的特例。

实验结果

研究问题

• RQ1 能否设计一种原始-对偶分布式优化框架，以高效处理 L₁-正则化问题，且无需强凸性假设？
• RQ2 如何通过支持按特征划分数据，提升分布式 L₁-正则化优化中的通信效率？
• RQ3 在分布式原始-对偶框架中，能否为非强凸正则化项建立理论收敛性保证？
• RQ4 与 ADMM、小批量 SGD 和 OWL-QN 等最先进方法相比，所提框架在速度与收敛性方面表现如何？
• RQ5 该框架能否在保持理论严谨性与实际效率的前提下，足够灵活地支持原始与对偶公式？

主要发现

• 所提出的 proxCoCoA⁺ 框架在 Amazon EC2 集群上，对分布式 L₁-正则化优化问题的性能相比最先进方法最高提升 50 倍。
• 即使在强凸目标下，该框架在使用高效本地求解器时，性能也显著优于 CoCoA⁺。
• 为强凸与非强凸正则化项均建立了理论收敛速率，其新颖分析方法避免了基于平滑化的手段。
• 该方法支持按特征或数据点灵活划分数据，在高维设置下有效减少通信瓶颈。
• 实验结果表明，proxCoCoA⁺ 在多个真实世界数据集上均优于 ADMM、小批量 SGD、近端梯度下降、小批量坐标下降和 OWL-QN。
• 当使用快速单机 L₁-求解器（如 glmnet 和 blitz）作为内部求解器时，框架性能进一步提升，且 H（本地迭代次数）提供了精度与速度之间的可调权衡。