[论文解读] Data Placement and Replica Selection for Improving Co-location in Distributed Environments

K. Ashwin Kumar, Amol Deshpande+1 more|arXiv (Cornell University)|Feb 18, 2013

Cloud Computing and Resource Management参考文献 47被引用 44

一句话总结

本文提出了一种工作负载驱动的数据放置与副本选择框架，通过利用复制和超图建模，最小化平均查询跨度（定义为处理查询所涉及的机器数量）。通过将频繁共同访问的数据项建模为超图中的超边，并使用图论算法（如LMBR），该方法降低了分布式系统中的资源和能耗，在真实和合成工作负载上，与基线方法相比，平均查询跨度最高降低了57%。

ABSTRACT

Increasing need for large-scale data analytics in a number of application domains has led to a dramatic rise in the number of distributed data management systems, both parallel relational databases, and systems that support alternative frameworks like MapReduce. There is thus an increasing contention on scarce data center resources like network bandwidth; further, the energy requirements for powering the computing equipment are also growing dramatically. As we show empirically, increasing the execution parallelism by spreading out data across a large number of machines may achieve the intended goal of decreasing query latencies, but in most cases, may increase the total resource and energy consumption significantly. For many analytical workloads, however, minimizing query latencies is often not critical; in such scenarios, we argue that we should instead focus on minimizing the average query span, i.e., the average number of machines that are involved in processing of a query, through colocation of data items that are frequently accessed together. In this work, we exploit the fact that most distributed environments need to use replication for fault tolerance, and we devise workload-driven replica selection and placement algorithms that attempt to minimize the average query span. We model a historical query workload trace as a hypergraph over a set of data items, and formulate and analyze the problem of replica placement by drawing connections to several well-studied graph theoretic concepts. We develop a series of algorithms to decide which data items to replicate, and where to place the replicas. We show effectiveness of our proposed approach by presenting results on a collection of synthetic and real workloads. Our experiments show that careful data placement and replication can dramatically reduce the average query spans resulting in significant reductions in the resource consumption.

研究动机与目标

• 解决由于高并行性和通信开销导致大规模分布式数据管理系统中资源与能耗持续增长的问题。
• 认识到对于分析型工作负载而言，减少总资源与能耗消耗往往比降低查询延迟更为关键。
• 将最小化平均查询跨度（即查询执行所涉及的机器数量）作为减少资源与能耗消耗的代理指标。
• 开发一个集成数据放置与副本选择的框架，基于历史查询工作负载，共同定位频繁访问的数据项。
• 使用超图模型表述问题，并借鉴广泛研究的图论概念，以指导算法设计。

提出的方法

• 将历史查询工作负载建模为超图，其中数据项为节点，超边表示访问多个数据项的查询。
• 利用超图结构识别频繁共同访问的数据项，并指导副本放置决策，以改善数据共置。
• 提出LMBR（最低最大块比率）算法作为副本选择与放置的启发式方法，在最小化每台机器最大负载的同时提升共置效果。
• 将数据放置与复制问题表述为超图上的约束优化任务，借鉴图划分与聚类中的概念。
• 实现一个基于追踪的仿真框架，用于在合成数据、TPC-H风格数据和ISPD98基准数据集上评估所提算法。
• 使用平均查询跨度和执行时间等指标，将LMBR与基线方法（如HPA，分层划分算法）及其他启发式方法进行比较。

实验结果

研究问题

• RQ1 智能数据放置与复制能否在分布式分析型工作负载中降低平均查询跨度？
• RQ2 最小化查询跨度在大规模数据中心中对总资源与能耗消耗有何影响？
• RQ3 对查询工作负载进行超图建模在多大程度上能改善频繁访问数据项的共置？
• RQ4 与基线启发式方法相比，图论算法（如LMBR）在最小化查询跨度方面有多高效？
• RQ5 数据倾斜与异构数据大小如何影响数据放置算法的性能？

主要发现

• 在同质数据上使用45个分区时，LMBR算法的平均查询跨度仅为1.5，而基线HPA为3.5，降幅达57%。
• 在具有异构数据大小（选择因子25）的TPC-H风格工作负载上，LMBR仍优于其他算法，尽管由于数据大小倾斜，性能差距有所缩小。
• 在ISPD98基准测试中，LMBR在35个分区下实现了接近理论最小值（1）的平均查询跨度，而其他算法表现差20%至40%。
• 结果表明，优化查询跨度可显著降低通信开销与总资源消耗，即使并行性降低亦如此。
• 该框架通过最小化查询执行所涉及的机器数量，有效降低了能耗，契合可持续数据中心运行的目标。
• 研究证实，基于工作负载的数据放置与复制可显著减少分布式系统中的协调与网络开销。