[论文解读] LRC: Dependency-Aware Cache Management for Data Analytics Clusters

Yinghao Yu, Wei Wang+2 more|arXiv (Cornell University)|Mar 24, 2017

Advanced Data Storage Technologies参考文献 19被引用 5

一句话总结

本文提出 LRC，一种面向数据密集型分析集群的依赖感知缓存替换策略，通过淘汰引用计数最低的数据块（即依赖于它们的未计算子块数量最少的块）来实现。通过利用应用级有向无环图（DAG）语义，LRC 相较于 LRU 将缓存命中率提升并减少运行时间高达 60%，在 Spark 部署中仅使用 40% 的缓存空间即可达到相同的性能表现。

ABSTRACT

Memory caches are being aggressively used in today's data-parallel systems such as Spark, Tez, and Piccolo. However, prevalent systems employ rather simple cache management policies--notably the Least Recently Used (LRU) policy--that are oblivious to the application semantics of data dependency, expressed as a directed acyclic graph (DAG). Without this knowledge, memory caching can at best be performed by "guessing" the future data access patterns based on historical information (e.g., the access recency and/or frequency), which frequently results in inefficient, erroneous caching with low hit ratio and a long response time. In this paper, we propose a novel cache replacement policy, Least Reference Count (LRC), which exploits the application-specific DAG information to optimize the cache management. LRC evicts the cached data blocks whose reference count is the smallest. The reference count is defined, for each data block, as the number of dependent child blocks that have not been computed yet. We demonstrate the efficacy of LRC through both empirical analysis and cluster deployments against popular benchmarking workloads. Our Spark implementation shows that, compared with LRU, LRC speeds up typical applications by 60%.

研究动机与目标

• 为解决传统缓存策略（如 LRU）在数据密集型分析集群中因忽略应用级数据依赖性而导致的低效问题。
• 通过利用数据处理工作流的有向无环图（DAG）结构，提升缓存命中率并减少响应时间。
• 设计一种轻量级、可插拔的缓存管理策略，可轻松部署于 Spark 和 Tachyon 等基于 DAG 的系统中。
• 通过利用数据依赖性的语义感知能力，实现在多租户环境下的高效缓存共享。

提出的方法

• LRC 淘汰引用计数最小的数据块，其中引用计数定义为依赖于该块但尚未物化的子块数量。
• 引用计数在运行时根据 DAG 结构和任务完成状态动态更新。
• LRC 作为 Spark 中可插拔的内存管理器实现，由于轻量级引用计数消息传递机制，运行时开销极低。
• 该策略在作业提交时解析作业 DAG，并仅向相关的工作节点传播引用计数更新。
• LRC-Online 变体通过在执行过程中持续跟踪引用计数，适应动态工作负载。
• 系统设计具有可扩展性，可适用于其他基于 DAG 的框架及多租户缓存共享系统。

实验结果

研究问题

• RQ1 能否通过以 DAG 形式表达的应用级数据依赖语义，提升数据密集型分析集群中的缓存管理效率？
• RQ2 基于引用计数的淘汰策略与基于访问时间或频率的策略（如 LRU）相比，在缓存命中率和应用性能方面表现如何？
• RQ3 LRC 在保持或提升应用性能的前提下，能在多大程度上减少内存占用？
• RQ4 在存在竞争缓存需求的多租户环境中，LRC 的可扩展性如何？

主要发现

• 在使用相同缓存内存的情况下，LRC 相较于 LRU 将应用运行时间减少高达 60%。
• LRC 仅使用 LRU 所需 40% 的缓存空间，即可实现相同的应用性能。
• 在实际评估中，LRC 相较于 LRU 将缓存命中率提升最高达 119%。
• 在较小缓存规模和更高租户数量下，LRC-Online 的性能提升优于 LRU，表明其在资源压力下具备更强的可扩展性。
• 通过基于 DAG 的访问模式分析验证，引用计数指标比访问时间或频率更能准确预测未来的数据访问行为。