[论文解读] Large Scale Distributed Multiclass Logistic Regression

Pengtao Xie, Jin Kyu Kim+1 more|arXiv (Cornell University)|Jan 1, 2018

Stochastic Gradient Optimization Techniques参考文献 6被引用 2

一句话总结

本文提出了一种分布式多分类逻辑回归框架，通过仅传输两个向量而非完整的梯度矩阵来降低通信成本，利用充分向量广播器（SVB）在接收端重建梯度。该方法实现了线性通信复杂度，在大规模数据集（如ImageNet）上显著提升了可扩展性，且不损失正确性。

ABSTRACT

Multiclass logistic regression (MLR) is a fundamental machine learning model to do multiclass classification. However, it is very challenging to perform MLR on large scale data where the feature dimension is high, the number of classes is large and the number of data samples is numerous. In this paper, we build a distributed framework to support large scale multiclass logistic regression. Using stochastic gradient descent to optimize MLR, we find that the gradient matrix is computed as the outer product of two vectors. This grants us an opportunity to greatly reduce communication cost: instead of communicating the gradient matrix among machines, we can only communicate the two vectors and use them to reconstruct the gradient matrix after communication. We design a Sufficient Vector Broadcaster (SVB) to support this communication pattern. SVB synchronizes the parameter matrix of MLR by broadcasting the sufficient vectors among machines and migrates gradient matrix computation on the receiver side.SVB can reduce the communication cost from quadratic to linear without incurring any loss of correctness. We evaluate the system on the ImageNet dataset and demonstrate the efficiency and effectiveness of our distributed framework.

研究动机与目标

• 为解决在高维特征、大量类别和海量样本规模下扩展多分类逻辑回归的挑战。
• 在传统方法之外，进一步降低多分类逻辑回归分布式训练中的通信开销。
• 设计一种通信高效的框架，在最小化机器间数据传输的同时保持模型精度。
• 实现在真实世界数据集（如ImageNet）上高效训练，这些数据集具有高维特征和众多类别。

提出的方法

• 该框架使用随机梯度下降（SGD）来优化多分类逻辑回归模型。
• 利用梯度矩阵的数学结构（即两个向量的外积），实现通信量减少。
• 设计了充分向量广播器（SVB），仅在机器之间广播两个向量，而非完整的梯度矩阵。
• 接收端机器通过接收的向量重建梯度矩阵，避免了完整矩阵的传输。
• SVB通过分发充分向量来同步参数矩阵，确保各工作节点之间的一致性。
• 通过基于向量的重建方法保持精确的梯度计算，从而保证方法的正确性。

实验结果

研究问题

• RQ1 是否可以在不损失准确性的前提下，将分布式多分类逻辑回归中的通信成本从二次方复杂度降低至线性复杂度？
• RQ2 梯度矩阵的外积结构如何在分布式训练中实现高效通信？
• RQ3 在ImageNet等大规模数据集上，基于向量的梯度传输对性能有何影响？
• RQ4 充分向量广播器（SVB）在真实世界数据条件下是否能保持模型收敛性和正确性？
• RQ5 所提出的框架在特征维度、类别数量和数据样本数量增加时，其可扩展性如何？

主要发现

• 充分向量广播器（SVB）成功地将分布式多分类逻辑回归中的通信成本从二次方复杂度降低至线性复杂度。
• 通过从传输的向量重建梯度矩阵，该框架保持了精确的梯度计算，确保了无正确性损失。
• 该系统在ImageNet数据集上实现了高效训练，展示了对具有高维特征和大量类别的大规模数据的可扩展性。
• 通信成本的降低并未影响模型精度或收敛速度。
• 所提出的方法实现了在真实世界大规模数据集上多分类逻辑回归的可扩展且高效的分布式训练。