[论文解读] Matrix Factorization at Scale: a Comparison of Scientific Data Analytics in Spark and C+MPI Using Three Case Studies

Alex Gittens, Aditya Devarakonda+15 more|arXiv (Cornell University)|Jul 5, 2016

Advanced Data Storage Technologies参考文献 42被引用 16

一句话总结

本文评估了 Apache Spark 与 C+MPI 在科学计算中的大规模矩阵分解性能，针对来自粒子物理、气候模拟和生物成像的 TB 级数据集实现了 PCA、NMF 和 CX。Spark 在 1600 个节点下实现了良好的强可扩展性，但因调度开销、慢启动者（stragglers）和序列化问题导致性能差距达 2×–25×，凸显了 HPC 工作负载中的关键瓶颈。

ABSTRACT

We explore the trade-offs of performing linear algebra using Apache Spark, compared to traditional C and MPI implementations on HPC platforms. Spark is designed for data analytics on cluster computing platforms with access to local disks and is optimized for data-parallel tasks. We examine three widely-used and important matrix factorizations: NMF (for physical plausability), PCA (for its ubiquity) and CX (for data interpretability). We apply these methods to TB-sized problems in particle physics, climate modeling and bioimaging. The data matrices are tall-and-skinny which enable the algorithms to map conveniently into Spark's data-parallel model. We perform scaling experiments on up to 1600 Cray XC40 nodes, describe the sources of slowdowns, and provide tuning guidance to obtain high performance.

研究动机与目标

• 评估 Apache Spark 在大规模科学矩阵分解方面相对于传统 HPC 优化的 C+MPI 代码的可行性与性能。
• 解决现代数据 analytics 框架（如 Spark）与高性能计算（HPC）软件栈在真实科学工作负载中的性能差距问题。
• 识别 Spark 在大规模线性代数工作负载中应用时的关键性能瓶颈，如慢启动者效应、任务调度与序列化问题。
• 为提升 Spark 在 HPC 平台上的科学数据分析性能，提供调优建议与架构洞察。
• 评估 Spark 是否能有效扩展至 TB 级科学数据集，同时保持与手工优化的 HPC 代码相当的性能。

提出的方法

• 在 HPC 硬件上，使用 Spark 和 C+MPI 实现了三种矩阵分解的并行版本：PCA、NMF 和 CX。
• 使用来自三个科学领域的 TB 级数据集：Daya Bay 中微子实验（1.6TB）、CAM5 气候模拟（16TB）和质谱成像（2.2TB）。
• 采用 Spark 的弹性分布式数据集（RDD）与批量同步处理（BSP）模型，表达对高瘦矩阵的数据并行操作。
• 在 Cray XC40 系统上进行最多 1600 个节点的强可扩展性实验，以测量端到端性能并识别可扩展性瓶颈。
• 测量并分析 Spark 中任务调度、慢启动者效应、结果序列化与任务反序列化带来的性能开销。
• 在 Spark 中启用推测机制以缓解慢启动者效应，但发现其无效，原因在于跨工作节点获取 RDD 分区的延迟过高。

实验结果

研究问题

• RQ1 在 TB 级科学数据集上，Spark 在大规模矩阵分解（如 PCA、NMF 和 CX）方面的性能与 C+MPI 相比如何？
• RQ2 在 1600 个节点规模下，Spark 在科学线性代数工作负载中主导的性能瓶颈是什么？
• RQ3 慢启动者效应与任务调度开销在多大程度上限制了 Spark 在数据并行科学计算中的可扩展性？
• RQ4 当与基于 MPI 的运行时接口时，Spark 能否有效利用高性能线性代数库？数据传输成本如何？
• RQ5 I/O 性能在 HPC 系统上大规模数据分析工作负载的端到端执行时间中起到何种影响？

主要发现

• Spark 在 TB 级数据集上成功扩展至 1600 个节点，对 PCA、NMF 和 CX 的实现证明了其在大规模科学分析中的可行性。
• Spark 与 C+MPI 之间的端到端性能差距在 2× 到 25× 之间，当排除 I/O 时，差距扩大至 10×–40×。
• 慢启动者效应显著增加了开销，由于 Spark 的 BSP 模型中存在同步屏障，导致多个 PCA 迭代中空闲时间达到 O(100) 秒。
• 在大规模下，任务调度、结果序列化与反序列化开销主导了运行时间，其量级超过计算成本。
• 尽管启用了 Spark 的推测功能，但未观察到性能提升，原因在于从远程工作节点获取 RDD 分区的延迟过高。
• 运行时间的波动最高可达 25%（中位数 645 秒，最小值 489 秒，最大值 716 秒），且无一致的阶段导致延迟，表明任务执行时间存在系统性不稳定性。