[论文解读] A Survey on Domain-Specific Languages for Machine Learning in Big Data

Ivens Portugal, Paulo S. C. Alencar+1 more|arXiv (Cornell University)|Feb 24, 2016

Scientific Computing and Data Management参考文献 60被引用 5

一句话总结

本综述识别并分析了专用于大规模数据环境中机器学习的领域特定语言（DSLs）及框架。通过根据其设计、执行模型和应用重点对现有工具进行分类，本文为软件工程师和研究人员提供了全面的概览，以指导可扩展机器学习工作负载中的语言选择与未来工具开发。

ABSTRACT

The amount of data generated in the modern society is increasing rapidly. New problems and novel approaches of data capture, storage, analysis and visualization are responsible for the emergence of the Big Data research field. Machine Learning algorithms can be used in Big Data to make better and more accurate inferences. However, because of the challenges Big Data imposes, these algorithms need to be adapted and optimized to specific applications. One important decision made by software engineers is the choice of the language that is used in the implementation of these algorithms. Therefore, this literature survey identifies and describes domain-specific languages and frameworks used for Machine Learning in Big Data. By doing this, software engineers can then make more informed choices and beginners have an overview of the main languages used in this domain.

研究动机与目标

• 识别并分类用于大规模数据工作负载中机器学习的领域特定语言（DSLs）。
• 分析现有机器学习DSLs的设计原则、执行模型及目标应用领域。
• 为软件工程师和初学者提供现有工具的结构化概览，以支持明智的决策。
• 指出当前大规模数据机器学习DSLs中的空白与机遇。

提出的方法

• 对学术和技术文献中关于大规模数据中机器学习DSLs的系统性文献回顾。
• 根据抽象层次、目标执行环境和编程范式对DSLs进行分类。
• 分析关键特性，如声明式与命令式语法、与大数据平台（例如Hadoop、Spark）的集成，以及对分布式计算的支持。
• 基于在真实大规模数据流水线中的表达能力、性能和易用性，对框架进行比较。
• 将DSLs映射到特定的机器学习任务（例如分类、聚类、深度学习）和数据处理模式。
• 整合洞察，形成用于评估和选择大规模数据环境中机器学习DSLs的参考模型。

实验结果

研究问题

• RQ1 目前在大规模数据环境中用于机器学习的领域特定语言有哪些？
• RQ2 这些DSLs在抽象层次、执行模型以及与大数据平台的集成方面有何差异？
• RQ3 现有机器学习DSLs在可扩展性和性能方面存在哪些关键设计权衡？
• RQ4 DSLs如何支持分布式系统中的常见机器学习工作流，如数据预处理、模型训练和推理？
• RQ5 当前大规模数据机器学习DSLs存在哪些局限性和开放挑战？

主要发现

• 为应对在大规模数据平台中实现机器学习的复杂性，已涌现出大量DSLs，其中显著的例子包括Spark MLlib、Hivemall和Distill。
• 声明式DSLs（如Hivemall和基于HiveQL的系统）能够以高层级方式表达机器学习算法，但通常会牺牲对底层性能控制的掌控。
• 命令式和混合DSLs（如Apache Spark的MLlib中的DSLs）提供了更好的性能和与分布式计算抽象的集成，但需要更深入的编程专业知识。
• 许多DSLs与特定的大数据框架（如Spark、Hadoop）紧密耦合，限制了可移植性，并增加了供应商锁定的风险。
• 尽管工具日益丰富，但在可用性、性能可移植性以及对深度学习和强化学习等高级机器学习工作负载的支持方面，仍存在显著挑战。
• 本综述指出，亟需更标准化、可组合且可移植的DSLs，以在分布式环境中弥合高层表达能力与底层效率之间的鸿沟。