[论文解读] MLlib: Machine Learning in Apache Spark

Xiangrui Meng, Joseph K. Bradley+14 more|arXiv (Cornell University)|May 26, 2015

Machine Learning and Data Classification参考文献 10被引用 961

一句话总结

本文介绍了 MLlib，即 Apache Spark 的开源分布式机器学习库，提供分类、回归、聚类、协同过滤和降维等标准算法的可扩展实现。MLlib 基于 Spark 的迭代计算模型构建，并与其生态系统紧密集成，支持 Java、Scala、Python 和 R，通过算法和系统级优化，在版本间实现了高达 3 倍的性能提升。

ABSTRACT

Apache Spark is a popular open-source platform for large-scale data processing that is well-suited for iterative machine learning tasks. In this paper we present MLlib, Spark's open-source distributed machine learning library. MLlib provides efficient functionality for a wide range of learning settings and includes several underlying statistical, optimization, and linear algebra primitives. Shipped with Spark, MLlib supports several languages and provides a high-level API that leverages Spark's rich ecosystem to simplify the development of end-to-end machine learning pipelines. MLlib has experienced a rapid growth due to its vibrant open-source community of over 140 contributors, and includes extensive documentation to support further growth and to let users quickly get up to speed.

研究动机与目标

• 解决在大规模复杂数据集上对可扩展、分布式机器学习日益增长的需求。
• 提供与 Apache Spark 的迭代计算模型集成的高性能、生产就绪的机器学习库。
• 通过统一的高级 API 简化端到端机器学习流水线的开发。
• 通过开源贡献和生态系统集成，实现快速的社区驱动开发与可扩展性。
• 展示 MLlib 相较于 Hadoop MapReduce 上的 Mahout 等现有系统，在性能和可扩展性方面取得的显著提升。

提出的方法

• MLlib 利用 Spark 的内存计算和优化执行引擎，加速迭代式机器学习算法的执行。
• 在 Java、Scala、Python 和 R 中提供高级 API，通过统一的流水线接口（spark.ml）构建和调优多阶段机器学习工作流。
• 库中包含核心算法的优化实现，如 ALS、逻辑回归、决策树和 k-means，采用高效的线性代数和优化原原子。
• MLlib 与 Spark 的生态系统集成，包括 Spark SQL 用于数据预处理、GraphX 用于基于图的学习，以及 Spark Streaming 用于在线学习。
• 在每个节点上使用原生 C++ 实现的线性代数库（如 BLAS）加速数值计算。
• 性能提升由算法改进和 Spark 通信协议与调度器的底层优化共同驱动。

实验结果

研究问题

• RQ1 如何高效地将分布式机器学习库集成到 Apache Spark 这类通用数据处理引擎中？
• RQ2 与 Hadoop MapReduce 上的 Mahout 等现有系统相比，MLlib 在性能和可扩展性方面有何优势？
• RQ3 Spark 的迭代计算模型在多大程度上能提升大规模机器学习算法的效率？
• RQ4 开源社区在推动生产级 ML 库的持续发展和可扩展性方面发挥了怎样的作用？
• RQ5 哪些关键的架构和实现选择使得 MLlib 实现了高性能和多语言支持？

主要发现

• MLlib 在 ALS 算法上表现出卓越的可扩展性，由于 Spark 的调度开销更低且对迭代计算支持更好，其性能优于 Hadoop MapReduce 上的 Mahout。
• 在 16 个节点的 EC2 集群上，MLlib 在版本 1.0 到 1.1 之间，所有算法的平均性能提升了 3 倍，这得益于算法和系统级的双重优化。
• 该库在更大规模数据集上表现出色，即使在 Amazon Reviews 数据集中通过复制用户记录增加数据量，性能仍保持稳定和高效。
• MLlib 与 Spark 生态系统的集成，特别是 spark.ml，显著简化了复杂多阶段机器学习流水线的开发。
• 开源社区贡献了超过 140 名开发者，来自 50 多家组织，加速了功能开发和生态系统增长。
• MLlib 使用原生线性代数库和多语言 API，实现了高性能，并在数据科学工作流中具备广泛的可访问性。