[论文解读] DS-MLR: Exploiting Double Separability for Scaling up Distributed Multinomial Logistic Regression

Parameswaran Raman, Srinivasan, Sriram+4 more|arXiv (Cornell University)|Apr 16, 2016

Stochastic Gradient Optimization Techniques参考文献 36被引用 5

一句话总结

DS-MLR 提出了一种分布式随机优化算法，通过利用多项式逻辑回归中的双重可分性，实现数据与模型的并行处理，从而消除存储瓶颈。该方法在极端多分类问题上实现了最先进水平的可扩展性，例如在 159 GB 的 Reddit 数据集（含 358 GB 参数）上，此前的任何方法均无法适用。

ABSTRACT

Scaling multinomial logistic regression to datasets with very large number of data points and classes is challenging. This is primarily because one needs to compute the log-partition function on every data point. This makes distributing the computation hard. In this paper, we present a distributed stochastic gradient descent based optimization method (DS-MLR) for scaling up multinomial logistic regression problems to massive scale datasets without hitting any storage constraints on the data and model parameters. Our algorithm exploits double-separability, an attractive property that allows us to achieve both data as well as model parallelism simultaneously. In addition, we introduce a non-blocking and asynchronous variant of our algorithm that avoids bulk-synchronization. We demonstrate the versatility of DS-MLR to various scenarios in data and model parallelism, through an extensive empirical study using several real-world datasets. In particular, we demonstrate the scalability of DS-MLR by solving an extreme multi-class classification problem on the Reddit dataset (159 GB data, 358 GB parameters) where, to the best of our knowledge, no other existing methods apply.

研究动机与目标

• 解决在具有大量数据点和类别的大规模数据集上，多项式逻辑回归（MLR）的可扩展性挑战。
• 克服现有方法（如 L-BFGS 和 LC）的局限性——这些方法需要完整复制模型或数据，因此在极端规模问题上不可行。
• 同时支持数据并行与模型并行，以应对单台机器无法容纳数据或模型的场景。
• 设计一种非阻塞、异步变体，以减少同步开销，提升分布式环境下的性能。
• 在所有分布式机器学习场景中（包括极端规模设置）展示该方法的通用性。

提出的方法

• 重新表述 MLR 的目标函数，以利用双重可分性，实现数据与模型参数的独立划分。
• 将对数归一化函数分解为数据与模型维度上的可分组件，从而在无需完整参数复制的情况下实现分布式计算。
• 实现一种同步分布式优化算法，通过本地梯度与聚合的辅助变量在多个工作节点间更新参数。
• 开发一种异步、非阻塞变体（DS-MLR Async），通过交错计算与通信，减少空闲时间并提升吞吐量。
• 采用类似参数服务器的架构，结合高效的通信模式，最小化每次迭代中的数据传输开销。
• 利用双重可分结构，以线性方式随数据与模型规模扩展梯度计算与参数更新。

实验结果

研究问题

• RQ1 能否设计一种分布式 MLR 算法，实现数据与模型并行处理，同时避免高昂的存储成本？
• RQ2 所提出的双重可分性重构如何在现有方法失效的极端规模场景中实现可扩展优化？
• RQ3 非阻塞、异步变体（DS-MLR Async）相较于同步与阻塞方法，性能提升有多大？
• RQ4 DS-MLR 在不同数据与模型规模范围内（包括数据与模型均超出单机容量的情况）的可扩展性如何？
• RQ5 DS-MLR 在真实世界中的极端多分类分类任务（如包含 17 亿条评论与 35.8 万个类别的 Reddit 数据集）上的表现如何？

主要发现

• DS-MLR 顺利扩展至一个包含 159 GB 数据与 358 GB 模型参数的 Reddit 数据集，该规模下此前无任何方法可适用。
• 在 LSHTC1-large 数据集上，DS-MLR 仅用 1,191 秒即实现收敛，而 LC 方法需 32,624 秒，实现 27 倍加速。
• 在数据与模型均无法容纳于单台机器的场景下，DS-MLR 凭借其非阻塞、异步设计，在 YouTube8M-Video 数据集（4,716 个类别，1,152 个特征）上实现了快速收敛。
• 在包含 355 GB 模型参数的 ODP 数据集上，DS-MLR 表现优于 LC，后者因单次迭代开销过高，甚至无法完成一次迭代。
• 在 LSHTC1-large 上，DS-MLR 实现了接近线性的加速，20 个工作节点下达到 16 倍加速，表明其具有强大的水平可扩展性。
• 异步变体显著降低了同步开销，提升了多核、多机系统的资源利用率，尤其在 YouTube8M-Video 等密集数据集上表现突出。