[论文解读] A MapReduce based distributed SVM algorithm for binary classification

Ferhat Özgür Çatak, M. Erdal Balaban|arXiv (Cornell University)|Dec 15, 2013

Machine Learning and Data Classification被引用 2

一句话总结

该论文提出了一种基于MapReduce的分布式SVM算法，用于二分类任务，通过将数据集分区到多个节点上，实现跨云计算系统的训练扩展，迭代地收集并合并支持向量。该方法在手写数字数据集上实现了最高7.78倍的加速，且在5–10轮迭代内收敛至接近最优的准确率，展示了在Hadoop和LibSVM环境下对大规模数据的可扩展性和稳定性。

ABSTRACT

Although Support Vector Machine (SVM) algorithm has a high generalization property to classify for unseen examples after training phase and it has small loss value, the algorithm is not suitable for real-life classification and regression problems. SVMs cannot solve hundreds of thousands examples in training dataset. In previous studies on distributed machine learning algorithms, SVM is trained over a costly and preconfigured computer environment. In this research, we present a MapReduce based distributed parallel SVM training algorithm for binary classification problems. This work shows how to distribute optimization problem over cloud computing systems with MapReduce technique. In the second step of this work, we used statistical learning theory to find the predictive hypothesis that minimize our empirical risks from hypothesis spaces that created with reduce function of MapReduce. The results of this research are important for training of big datasets for SVM algorithm based classification problems. We provided that iterative training of split dataset with MapReduce technique; accuracy of the classifier function will converge to global optimal classifier function's accuracy in finite iteration size. The algorithm performance was measured on samples from letter recognition and pen-based recognition of handwritten digits dataset.

研究动机与目标

• 解决由于核矩阵复杂度高，导致在单台机器上训练大规模SVM计算不可行的问题。
• 通过云环境和MapReduce范式，实现可扩展的分布式SVM训练。
• 通过迭代合并支持向量，利用结构风险最小化，保持高泛化性能。
• 在真实数据集（如字母和数字识别）上展示收敛性与性能提升。

提出的方法

• 在基于Hadoop的云环境中使用MapReduce将训练数据分发到多个节点。
• 使用LibSVM在每个数据分区上训练本地SVM分类器，并提取每个节点的支持向量（SVs）。
• 在Reduce阶段将所有本地支持向量合并为全局支持向量集，用于下一轮迭代。
• 迭代地基于更新后的全局支持向量重新训练，持续优化分类器直至收敛。
• 采用10折交叉验证评估准确率和合页损失的稳定性。
• 通过对比MapReduce训练时间与单节点基线，衡量加速比。

实验结果

研究问题

• RQ1 基于MapReduce的分布式SVM是否能在大规模二分类数据集上实现显著加速？
• RQ2 跨节点迭代合并支持向量是否能引导模型收敛至全局最优分类器？
• RQ3 在分布式训练过程中，支持向量数量和合页损失如何随迭代轮次演变？
• RQ4 数据集大小和节点数量对训练性能与准确率有何影响？

主要发现

• 在10个计算节点上，该算法在字母识别数据集上实现了最高6.42倍的加速，在手写数字数据集上实现了最高7.78倍的加速。
• 合页损失在迭代过程中显著下降，并在第5轮稳定下来，表明收敛至低经验误差。
• 在10轮迭代后，数字数据集的支持向量数量稳定在约3,000个，字母数据集稳定在约560个。
• 测试准确率在第5轮达到峰值并保持稳定，证实收敛至接近全局最优。
• 该算法保持了高泛化性能，字母识别数据集在第3轮后平均合页损失降至0.00005。
• 该方法通过在云节点间分发核计算和迭代优化，成功实现了SVM在大数据上的可扩展训练。