[论文解读] MPIgnite: An MPI-Like Language and Prototype Implementation for Apache Spark

Brandon Morris, Anthony Skjellum|arXiv (Cornell University)|Jul 15, 2017

Cloud Computing and Resource Management参考文献 15被引用 4

一句话总结

本文提出 MPIgnite，这是 Apache Spark 的一项新扩展，将类似 MPI 的点对点和集体通信原语集成到数据并行框架中。通过使用 Scala 闭包为 Spark 增加消息传递语义，实现了任务并行与数据并行编程的无缝共存，结合了 HPC 级别的通信模式与 Spark 的开发效率、容错能力和可扩展性——通过原型实现和用例得到验证。

ABSTRACT

Scale-out parallel processing based on MPI is a 25-year-old standard with at least another decade of preceding history of enabling technologies in the High Performance Computing community. Newer frameworks such as MapReduce, Hadoop, and Spark represent industrial scalable computing solutions that have received broad adoption because of their comparative simplicity of use, applicability to relevant problems, and ability to harness scalable, distributed resources. While MPI provides performance and portability, it lacks in productivity and fault tolerance. Likewise, Spark is a specific example of a current-generation MapReduce and data-parallel computing infrastructure that addresses those goals but in turn lacks peer communication support to allow featherweight, highly scalable peer-to-peer data-parallel code sections. The key contribution of this paper is to demonstrate how to introduce the collective and point-to-point peer communication concepts of MPI into a Spark environment. This is done in order to produce performance-portable, peer-oriented and group-oriented communication services while retaining the essential, desirable properties of Spark. Additional concepts of fault tolerance and productivity are considered. This approach is offered in contrast to adding MapReduce framework as upper-middleware based on a traditional MPI implementation as baseline infrastructure.

研究动机与目标

• 通过在 Spark 中支持对等通信和集体通信，弥合传统 HPC（MPI）与现代数据并行框架（Spark）之间的差距。
• 通过将 MPI 语义集成到 Spark 的任务并行模型中，实现高效率、容错和可扩展的并行编程。
• 通过为分布式环境中的消息传递提供熟悉且高层级的 API，支持 MPI 开发者与 Spark 用户之间的互操作性。
• 利用 Spark 已有的容错机制和云原生基础设施，同时增加 HPC 工作负载所必需的底层通信模式。
• 证明结合任务并行和数据并行抽象的混合编程模型可以在单一框架内高效共存。

提出的方法

• 在 Apache Spark 框架中引入受 MPI 启发的新消息传递 API，支持点对点和集体操作。
• 使用 Scala 的高层级闭包模型实现通信原语，支持表达性强且可组合的并行代码。
• 将消息传递语义集成到 Spark 的任务执行模型中，使独立的并行部分可通过类似 MPI 的操作进行通信。
• 利用 Spark 已有的调度器和容错机制，在扩展功能的同时保持可靠性。
• 设计系统以在同一应用程序中同时支持数据并行和任务并行工作负载，实现灵活的算法设计。
• 利用 Spark 的内存计算和集群资源管理机制，保持性能和可扩展性。

实验结果

研究问题

• RQ1 是否能够有效将类似 MPI 的通信模式集成到 Apache Spark 这类数据并行框架中，而不会牺牲开发效率或容错能力？
• RQ2 如何高效地将任务并行通信（如点对点、集体操作）与 Spark 的数据并行模型组合？
• RQ3 将 MPI 语义集成到 Spark 中在多大程度上保持了性能可移植性和与现有 HPC 算法的互操作性？
• RQ4 在云规模环境中，使用高层级语言特性（如 Scala 闭包）实现消息传递有何影响？
• RQ5 如何扩展或利用 Spark 的容错机制，以高效且可靠地支持消息传递？

主要发现

• MPIgnite 有效地将类似 MPI 的通信原语集成到 Apache Spark 中，使任务并行与数据并行编程可在同一框架内实现。
• 原型实现表明，使用 Scala 闭包在 Spark 执行模型中高效实现消息传递操作是可行的。
• 混合模型允许独立的、细粒度的并行部分与数据并行转换共存，支持复杂且混合类型的工作负载应用。
• 该集成保留了 Spark 的容错能力和可扩展性，支持在大规模集群上可靠执行。
• 该方法为 HPC 开发者提供了一条可行路径，可在现代、云就绪平台上以极低性能开销原型实现基于 MPI 的算法。
• 未来工作表明，存在进一步优化的潜力，包括高效的消息传递后端、与第三方 MPI 库的集成，以及对消息传递系统的增强容错能力。