[论文解读] Machine Learning and Cloud Computing: Survey of Distributed and SaaS Solutions

Daniel Pop|arXiv (Cornell University)|Mar 29, 2016

Graph Theory and Algorithms参考文献 9被引用 53

一句话总结

本篇2012年的综述研究探讨了机器学习（ML）与云计算的融合，将解决方案划分为五种类别：云托管的机器学习环境、插件增强的工具（如R、Python）、分布式机器学习库（如Apache Mahout、GraphLab）、本地部署的复杂系统，以及作为SaaS的机器学习。尽管基于云的机器学习采用率持续增长，但研究指出，非专家用户在可用性方面仍存在关键缺口，并呼吁开发更用户友好、可扩展的系统，以服务于医学、金融等领域的研究人员和实践者。

ABSTRACT

Applying popular machine learning algorithms to large amounts of data raised new challenges for the ML practitioners. Traditional ML libraries does not support well processing of huge datasets, so that new approaches were needed. Parallelization using modern parallel computing frameworks, such as MapReduce, CUDA, or Dryad gained in popularity and acceptance, resulting in new ML libraries developed on top of these frameworks. We will briefly introduce the most prominent industrial and academic outcomes, such as Apache Mahout, GraphLab or Jubatus. We will investigate how cloud computing paradigm impacted the field of ML. First direction is of popular statistics tools and libraries (R system, Python) deployed in the cloud. A second line of products is augmenting existing tools with plugins that allow users to create a Hadoop cluster in the cloud and run jobs on it. Next on the list are libraries of distributed implementations for ML algorithms, and on-premise deployments of complex systems for data analytics and data mining. Last approach on the radar of this survey is ML as Software-as-a-Service, several BigData start-ups (and large companies as well) already opening their solutions to the market.

研究动机与目标

• 应对将机器学习扩展至大数据的日益严峻挑战，传统库因性能和可扩展性限制而失效。
• 研究云计算和分布式框架（如MapReduce、Hadoop、CUDA）如何实现可扩展的机器学习处理。
• 对云环境中的新兴机器学习解决方案进行分类与分析，包括SaaS、PaaS和本地部署系统，以识别在可用性和用户支持方面的缺口。
• 强调现有工具在用户引导和可配置性方面的不足，尤其针对科学和工业领域中的非专家用户。
• 提出需要构建一种新型、可扩展且用户友好的分布式机器学习系统，支持高级科学任务，而无需深入的编程或统计专业知识。

提出的方法

• 基于部署方式和抽象层级，将现有机器学习解决方案划分为五种类别：云托管环境、插件增强工具、分布式库、复杂本地系统和SaaS平台。
• 分析各类别中的代表性工具和平台，包括Apache Mahout、GraphLab、Jubatus、云中的R和Python，以及AlchemyAPI和Yahoo! Content Analysis等SaaS提供商。
• 评估每种解决方案的技术栈，重点关注底层基础设施（Hadoop、Dryad、云集群）、编程模型（MapReduce、MPI）以及与统计环境的集成。
• 评估功能、可配置性和可用性之间的权衡，尤其针对缺乏高级编程或统计训练的终端用户。
• 通过市场调研和文献综述对比各类解决方案，强调用户引导的缺失，以及低层次系统控制与刚性黑箱SaaS模型的主导地位。
• 基于在现有分布式机器学习框架中增强可用性和用户支持功能，提出未来研究方向，以服务于科学和领域特定的应用。

实验结果

研究问题

• RQ1 云计算和分布式计算框架如何实现大数据环境下可扩展的机器学习？
• RQ2 现有分布式和基于SaaS的机器学习解决方案在架构和部署方面有哪些关键差异？
• RQ3 为何当前的机器学习平台无法有效支持编程或统计知识有限的终端用户？
• RQ4 现有SaaS和PaaS机器学习平台在算法可配置性和可扩展性方面存在哪些局限？
• RQ5 为构建一种面向科学和工业领域非专家实践者的可扩展、用户友好且可扩展的分布式机器学习系统，需要哪些设计原则？

主要发现

• MapReduce和MPI是表达机器学习-数据挖掘（ML-DM）算法大规模并行性的主导范式，其中MapReduce因容错性和易用性而更受欢迎。
• 通过集群或插件在云中部署R和Python等统计工具，可实现大规模数据分析，但缺乏原生集成和用户引导。
• Apache Mahout、GraphLab和Jubatus等分布式机器学习库提供了核心算法的并行实现，但其部署和调优需要大量专业知识。
• 复杂本地系统性能优异，但成本高昂且难以维护，限制了其在大型企业以外的采用。
• AlchemyAPI、TextProcessing和Yahoo! Content Analysis等SaaS和PaaS提供商为文本挖掘和自然语言处理提供了易于使用的API，但缺乏可配置性，且不适合高级机器学习任务。
• 尽管机器学习解决方案数量激增，但在可用性和用户支持方面仍存在显著缺口，尤其针对非专家用户，凸显了构建一种新型、可扩展且用户友好的分布式机器学习平台的迫切需求，以服务于数据密集型领域中的研究人员和实践者。