[论文解读] Intermediate Data Caching Optimization for Multi-Stage and Parallel Big Data Frameworks

Zhengyu Yang, Danlin Jia+3 more|arXiv (Cornell University)|Apr 27, 2018

Caching and Content Delivery参考文献 34被引用 3

一句话总结

本文提出了一种适用于 Apache Spark 等多阶段大数据框架的自适应缓存算法，可自动识别并缓存跨作业中最具价值的中间数据集（RDD），以最小化总重计算工作量。通过将问题建模为基于有向无环图（DAG）的优化问题，并采用具有最优性保证的在线决策方法，该方法相比 LRU 及其他启发式方法，将总工作量减少了 12%，尤其在缓存容量增加时效果更显著。

ABSTRACT

In the era of big data and cloud computing, large amounts of data are generated from user applications and need to be processed in the datacenter. Data-parallel computing frameworks, such as Apache Spark, are widely used to perform such data processing at scale. Specifically, Spark leverages distributed memory to cache the intermediate results, represented as Resilient Distributed Datasets (RDDs). This gives Spark an advantage over other parallel frameworks for implementations of iterative machine learning and data mining algorithms, by avoiding repeated computation or hard disk accesses to retrieve RDDs. By default, caching decisions are left at the programmer's discretion, and the LRU policy is used for evicting RDDs when the cache is full. However, when the objective is to minimize total work, LRU is woefully inadequate, leading to arbitrarily suboptimal caching decisions. In this paper, we design an algorithm for multi-stage big data processing platforms to adaptively determine and cache the most valuable intermediate datasets that can be reused in the future. Our solution automates the decision of which RDDs to cache: this amounts to identifying nodes in a direct acyclic graph (DAG) representing computations whose outputs should persist in the memory. Our experiment results show that our proposed cache optimization solution can improve the performance of machine learning applications on Spark decreasing the total work to recompute RDDs by 12%.

研究动机与目标

• 解决因手动 RDD 缓存和 LRU 淘汰策略导致的 Spark 中缓存决策次优问题，从而降低高重计算成本。
• 将中间数据缓存问题建模为优化任务，以最小化多阶段、并行大数据处理中的总工作量。
• 设计一种在线自适应缓存算法，可检测跨作业的计算重叠，并选择最具价值的 RDD 进行缓存。
• 通过利用全局作业级访问模式而非单个作业的启发式策略，提升缓存利用率和性能。
• 在真实 Spark 部署和多样化工作负载（包括机器学习和数据挖掘）的模拟环境中验证该方法。

提出的方法

• 将计算建模为有向无环图（DAG），其中节点表示操作，边表示数据依赖关系。
• 定义一个数学优化框架，以选择应缓存的中间 RDD，从而最小化总重计算成本。
• 设计一种自适应缓存算法，基于未来重用预测和跨多个作业的访问模式，进行在线决策。
• 利用所有访问过的 RDD 的全局视图，检测跨作业重叠，并优先缓存频繁重用或重计算成本较高的数据集。
• 在 Apache Spark 中实现该算法，并使用真实工作负载和合成压力测试，与标准策略（FIFO、LRU、LCS）进行对比。
• 应用最优性保证，确保在给定目标函数下算法性能接近最优。

实验结果

研究问题

• RQ1 如何在多阶段大数据框架中自动化中间数据缓存，以减少总重计算工作量？
• RQ2 跨作业计算重叠对缓存效率有何影响，如何有效利用这些重叠？
• RQ3 自适应缓存算法能否在命中率和完成时间方面优于传统启发式方法（如 LRU 和 LCS）？
• RQ4 所提算法的性能如何随缓存大小和工作负载复杂度的增加而变化？
• RQ5 在最小化总工作量的优化目标下，缓存利用率与计算成本之间的权衡是什么？

主要发现

• 所提出的自适应缓存算法相比 LRU 及其他基线策略，将重计算 RDD 所需的总工作量减少了 12%。
• 在缓存不友好的压力测试下（性能余量有限），该算法命中率最高提升 13%，完成时间最多减少 12%。
• 随着缓存容量增大，性能提升最为显著，表明该算法能有效利用可用内存资源。
• 与 FIFO、LRU 和 LCS 不同，该自适应算法能够检测并利用跨作业计算重叠，从而做出更优的长期缓存决策。
• 即使在涉及机器学习和数据挖掘流水线的复杂真实工作负载下，该算法仍保持高效率。
• 结果表明，对中间数据重用进行全局、作业级分析，可显著提升缓存利用率，优于单个作业的启发式策略。