[论文解读] Generic Multiplicative Methods for Implementing Machine Learning Algorithms on MapReduce

Song Liu, Peter Flach+1 more|arXiv (Cornell University)|Nov 9, 2011

Stochastic Gradient Optimization Techniques参考文献 7被引用 3

一句话总结

本文提出了一种通用的乘法模型，用于在MapReduce框架上扩展机器学习算法，实现了基于相似度和迭代型算法（如NMF、SVM和PageRank）的高效并行化。通过抽象常见计算模式——特别是矩阵乘法和乘法更新——该模型在大规模数据集上实现了线性加速和高可扩展性，其运行时间和效率均优于传统的O(m³)实现方式。

ABSTRACT

In this paper we introduce a generic model for multiplicative algorithms which is suitable for the MapReduce parallel programming paradigm. We implement three typical machine learning algorithms to demonstrate how similarity comparison, gradient descent, power method and other classic learning techniques fit this model well. Two versions of large-scale matrix multiplication are discussed in this paper, and different methods are developed for both cases with regard to their unique computational characteristics and problem settings. In contrast to earlier research, we focus on fundamental linear algebra techniques that establish a generic approach for a range of algorithms, rather than specific ways of scaling up algorithms one at a time. Experiments show promising results when evaluated on both speedup and accuracy. Compared with a standard implementation with computational complexity $O(m^3)$ in the worst case, the large-scale matrix multiplication experiments prove our design is considerably more efficient and maintains a good speedup as the number of cores increases. Algorithm-specific experiments also produce encouraging results on runtime performance.

研究动机与目标

• 开发一种通用且可重用的框架，用于在MapReduce并行计算模型上扩展多种机器学习算法。
• 识别并抽象出NMF、SVM和PageRank等不同算法中常见的计算模式，特别是乘法更新和矩阵运算。
• 通过利用分区和并行化策略，提升基于相似度和迭代型学习算法在大规模数据上的可扩展性和性能。
• 证明统一模型在效率和通用适用性方面可优于针对特定算法的优化实现。
• 通过支持迭代型和基于相似度算法的高效分布式执行，为未来大规模学习系统奠定基础。

提出的方法

• 设计一种通用的乘法模型，将NMF、SVM和PageRank中常见的迭代更新规则抽象为矩阵乘法操作。
• 实现两种针对稀疏和稠密矩阵场景的规模化矩阵乘法变体，通过数据分区实现负载均衡并最大化并行性。
• 引入灵活的“分区模式”配置，以适应不同矩阵密度和集群规模，优化多样工作负载下的性能表现。
• 将该模型应用于三种核心算法：通过乘法更新实现NMF，通过核矩阵计算实现SVM，通过迭代矩阵-向量乘法实现PageRank。
• 利用MapReduce的功能抽象，将所有操作表达为map和reduce阶段，实现在Hadoop类集群上的分布式执行。
• 通过最小化冗余数据洗牌并使矩阵分区与计算访问模式对齐，优化计算效率。

实验结果

研究问题

• RQ1 单一通用模型是否能有效抽象并扩展具有迭代性、乘法更新特性的多种机器学习算法？
• RQ2 所提出的乘法模型在MapReduce范式下如何实现大规模数据的高效并行化？
• RQ3 何种分区与负载均衡策略能在不同矩阵密度和集群规模下最大化性能表现？
• RQ4 与标准实现相比，该通用模型在保持准确性的前提下，能在多大程度上提升运行时间和可扩展性？
• RQ5 该模型是否能对NMF、SVM和PageRank等多样化算法实现一致的性能提升？

主要发现

• 通用乘法模型在大规模矩阵乘法中实现了线性加速，实际性能显著优于理论上的O(m³)复杂度。
• NMF的实现表现出显著的加速效果，尤其是在相似度比较和乘法更新阶段，得益于高效的分区与并行化机制。
• SVM的实现与LibSVM在大核矩阵上的性能相当，证明了其在分布式系统中的良好可扩展性。
• PageRank成功应用于包含570万页面的Wikipedia语料库，在100次迭代内于一小时内收敛，且排名结果具有实际合理性。
• 矩阵密度被识别为影响加速率的关键因素，稀疏场景下性能更优，主要得益于通信开销的减少。
• 所提出的“分区模式”配置显著提升了性能，通过适配矩阵稀疏度和集群规模，实现了高效的负载均衡。