[论文解读] A distributed block coordinate descent method for training $l_1$ regularized linear classifiers

Dhruv Mahajan, S. Sathiya Keerthi+1 more|arXiv (Cornell University)|May 18, 2014

Sparse and Compressive Sensing Techniques参考文献 22被引用 18

一句话总结

本文提出了一种用于训练 $l_1$-正则化线性分类器的分布式块坐标下降（DBCD）方法，该方法针对Hadoop集群等高通信成本环境进行了优化。通过在每个节点上执行分块优化，并采用贪心高斯-索末菲爾德（Gauss-Southwell）变量选择策略，该方法减少了通信开销，并在实验中显示出在大规模数据集上的显著加速效果，收敛速度优于现有方法。

ABSTRACT

Distributed training of $l_1$ regularized classifiers has received great attention recently. Most existing methods approach this problem by taking steps obtained from approximating the objective by a quadratic approximation that is decoupled at the individual variable level. These methods are designed for multicore and MPI platforms where communication costs are low. They are inefficient on systems such as Hadoop running on a cluster of commodity machines where communication costs are substantial. In this paper we design a distributed algorithm for $l_1$ regularization that is much better suited for such systems than existing algorithms. A careful cost analysis is used to support these points and motivate our method. The main idea of our algorithm is to do block optimization of many variables on the actual objective function within each computing node; this increases the computational cost per step that is matched with the communication cost, and decreases the number of outer iterations, thus yielding a faster overall method. Distributed Gauss-Seidel and Gauss-Southwell greedy schemes are used for choosing variables to update in each step. We establish global convergence theory for our algorithm, including Q-linear rate of convergence. Experiments on two benchmark problems show our method to be much faster than existing methods.

研究动机与目标

• 为解决现有 $l_1$-正则化分类器训练方法在Hadoop等高通信成本分布式系统中的低效问题。
• 通过在每个节点上执行分块优化，减少外层迭代次数并平衡计算与通信比，提升分布式训练效率。
• 设计一种在通信为主要瓶颈的通用硬件集群中优于现有坐标下降方法的算法。
• 在标准损失函数光滑性与梯度Lipschitz连续性假设下，建立具有Q线性收敛速率的全局收敛性，并在基准数据集上进行实证验证。

提出的方法

• 该方法采用近端-Jacobi近似来逼近目标函数，使每个计算节点能够高效执行分块优化。
• 采用分布式贪心高斯-索末菲爾德（Gauss-Southwell）方案，选择每次迭代中最具前景的变量进行更新，从而提升收敛速度。
• 每个节点在其分配的变量块上执行多次坐标下降步骤，随后通过AllReduce同步更新全局模型与梯度。
• 在每次更新步骤中使用带回溯的线搜索，以确保目标函数充分下降。
• 算法集成了一个WSS（工作量大小）参数，用于控制每个节点在每次迭代中更新的变量数量，从而在计算负载与通信频率之间实现平衡。
• 在标准假设下，证明了该方法具有Q线性收敛速率。

实验结果

研究问题

• RQ1 在高延迟集群（如Hadoop）中，分布式块坐标下降方法是否能有效降低 $l_1$-正则化分类器训练的通信开销？
• RQ2 与单变量更新相比，在每个节点上执行分块优化是否能带来更快的收敛速度与更少的迭代次数？
• RQ3 在收敛速度与可扩展性方面，贪心高斯-索末菲爾德变量选择策略相较于随机或高斯-赛德尔（Gauss-Seidel）策略有何差异？
• RQ4 在大规模分布式环境中，WSS参数与节点数量等参数设置对训练时间与收敛性有何影响？
• RQ5 在标准光滑性与凸性假设下，能否为该块坐标方法建立具有Q线性收敛速率的全局收敛性？

主要发现

• DBCD-S变体（采用高斯-索末菲爾德贪心选择策略）在大规模数据集上始终在收敛速度与训练时间方面优于其他方法。
• 在KDD与URL数据集上，DBCD-S方法的收敛速度显著快于现有方法，外层迭代次数明显减少。
• 在固定容差水平（如RFVD = -2）下，将节点数从25增加到100，训练时间几乎保持不变，表明通信成本限制了可扩展性，且存在最优节点数量。
• 该方法表明，每个节点的分块优化显著降低了通信频率，使其在高通信环境中比单变量更新方法更高效。
• 实验结果表明，近端-Jacobi近似结合贪心变量选择，相比标准方法能实现更快收敛，尤其在通信成本高昂时优势更明显。
• 该算法实现了Q线性收敛速率，证实了在标准假设下具有强理论收敛保证。