[论文解读] MLI: An API for Distributed Machine Learning

Evan Sparks, Ameet Talwalkar+7 more|arXiv (Cornell University)|Oct 21, 2013

Graph Theory and Algorithms参考文献 10被引用 33

一句话总结

MLI 是一个用于分布式机器学习的高级 API，通过为数据加载和本地线性代数操作提供直观的抽象，简化了可扩展、高性能算法的实现。MLI 基于 Apache Spark 构建，使代码简洁易读，与 MATLAB/R 相当，同时性能接近 GraphLab 和 Vowpal Wabbit 等专用低层系统，显著优于 Mahout，并能处理比 MATLAB 更大的数据集。

ABSTRACT

MLI is an Application Programming Interface designed to address the challenges of building Machine Learn- ing algorithms in a distributed setting based on data-centric computing. Its primary goal is to simplify the development of high-performance, scalable, distributed algorithms. Our initial results show that, relative to existing systems, this interface can be used to build distributed implementations of a wide variety of common Machine Learning algorithms with minimal complexity and highly competitive performance and scalability.

研究动机与目标

• 弥合 MATLAB/R 中快速原型设计与可扩展、工业级分布式机器学习实现之间复杂性的差距。
• 解决现有分布式机器学习系统中存在的可用性与性能权衡问题，这些系统要么过于底层（如 MapReduce），要么过于复杂难以实现（如具有复杂优化器的高层编译器）。
• 提供面向开发者的友好 API，支持高效的通信和并行化模式，而无需掌握分布式系统高级知识。
• 使机器学习研究人员能够以极低的代码复杂度实现可扩展算法，同时保持高性能和强大的水平扩展能力。

提出的方法

• MLI 引入了两个核心抽象：用于数据加载和转换的 MLTable，以及用于本地线性代数操作的 LocalMatrix。
• 该 API 基于 Apache Spark 实现，利用其对迭代内存计算的支持，以优化机器学习工作负载的性能。
• MLI 使开发人员能够编写高层、可读性强的代码，其形式与 MATLAB 或 R 的伪代码非常接近，同时隐藏了底层分布式系统细节。
• 系统使用 SBT 进行依赖管理，并通过环境变量配置和一条命令即可轻松部署集群。
• MLI 通过让开发人员显式控制通信和并行化模式，避免了复杂的静态分析或编译管道。
• 该实现支持模块化扩展，允许通过添加新的 Scala 类以极少样板代码的方式引入新算法。

实验结果

研究问题

• RQ1 一个用于分布式机器学习的高级 API 是否能够同时实现类似 MATLAB/R 的可用性以及接近低层系统的性能？
• RQ2 与 Mahout、GraphLab 和 Vowpal Wabbit 等现有系统相比，MLI API 在代码简洁性和执行效率方面表现如何？
• RQ3 MLI 在不同集群规模下能够实现多大程度的可扩展性，同时保持性能并避免内存瓶颈？
• RQ4 MLI 实现与 MATLAB 和 MATLAB-Mex 相比，在处理大规模数据集（如 16x 和 25x Netflix 数据集）时表现如何？
• RQ5 与 GraphLab 和 Mahout 等系统相比，MLI 的配置和部署实际开销如何？

主要发现

• 在逻辑回归和矩阵分解任务中，MLI 在所有集群规模下均显著优于 Mahout，总执行时间和扩展效率均更优。
• MLI 的扩展行为与 GraphLab 和 Vowpal Wabbit 等专用系统相当，其性能始终在 GraphLab 的一个小常数因子内（小于 4 倍）。
• 尽管 MATLAB 和 MATLAB-Mex 在 16x 和 25x Netflix 数据集上因内存不足而无法完成计算，MLI 成功处理了这些工作负载。
• MLI 的实现代码长度与等效的 MATLAB 代码基本相当，证明了其高度的代码简洁性和可读性。
• MLI 的设置和配置远比 GraphLab 简单，后者需要手动配置 MPI、编译依赖项并进行基于文件的数据分区。
• 在强可扩展性实验中，MLI 保持了良好的性能和可扩展性，优于 MATLAB 和 Mahout，并在 9x Netflix 数据集上与 GraphLab 的性能差距小于 4 倍。