[论文解读] Distributed Data Placement via Graph Partitioning

Lukasz Golab, Marios Hadjieleftheriou+2 more|arXiv (Cornell University)|Dec 1, 2013

Cloud Computing and Resource Management参考文献 14被引用 4

一句话总结

本文提出了一种将分布式关系型工作负载的数据放置问题简化为图划分问题的新方法，通过标准图划分库（如 METIS）实现高效且近似最优的数据放置。通过将查询工作负载建模为二分图，并利用图划分最小化通信成本，该方法可在数秒内获得高质量解——显著优于可能需要数周才能获得最优解的整数规划求解器。

ABSTRACT

With the widespread use of shared-nothing clusters of servers, there has been a proliferation of distributed object stores that offer high availability, reliability and enhanced performance for MapReduce-style workloads. However, relational workloads cannot always be evaluated efficiently using MapReduce without extensive data migrations, which cause network congestion and reduced query throughput. We study the problem of computing data placement strategies that minimize the data communication costs incurred by typical relational query workloads in a distributed setting. Our main contribution is a reduction of the data placement problem to the well-studied problem of {\sc Graph Partitioning}, which is NP-Hard but for which efficient approximation algorithms exist. The novelty and significance of this result lie in representing the communication cost exactly and using standard graphs instead of hypergraphs, which were used in prior work on data placement that optimized for different objectives (not communication cost). We study several practical extensions of the problem: with load balancing, with replication, with materialized views, and with complex query plans consisting of sequences of intermediate operations that may be computed on different servers. We provide integer linear programs (IPs) that may be used with any IP solver to find an optimal data placement. For the no-replication case, we use publicly available graph partitioning libraries (e.g., METIS) to efficiently compute nearly-optimal solutions. For the versions with replication, we introduce two heuristics that utilize the {\sc Graph Partitioning} solution of the no-replication case. Using the TPC-DS workload, it may take an IP solver weeks to compute an optimal data placement, whereas our reduction produces nearly-optimal solutions in seconds.

研究动机与目标

• 解决分布式关系型查询处理中的高通信成本问题，特别是针对复杂连接和物化视图。
• 克服先前超图划分方法在准确建模通信成本方面的局限性。
• 自动化数据放置决策，以最小化网络流量，同时支持复制、负载均衡及复杂查询计划。
• 提供可扩展的实用算法，在运行时间上显著优于精确优化方法，尤其适用于大规模工作负载。
• 实现在线流式数据仓库的高效部署，支持持续数据更新与物化视图维护。

提出的方法

• 将数据放置问题建模为二分图，其中表和查询作为节点，边表示数据访问需求。
• 将通信成本最小化问题简化为标准图划分问题，从而可利用 METIS 等高效库进行求解。
• 将最优数据放置建模为整数线性规划（IP）问题，使用现成求解器求解，支持复制、负载均衡及物化视图。
• 设计两种针对复制场景的启发式算法，复用非复制场景下的图划分解作为子程序。
• 构建一种二分图表示方法，用于捕获涉及在不同服务器上计算中间结果的复杂查询计划。
• 使用公开可用的图划分工具，即使在大规模工作负载下，也能在数秒内获得近似最优解。

实验结果

研究问题

• RQ1 在保留精确通信成本建模的前提下，关系型工作负载的数据放置问题能否被有效简化为图划分问题？
• RQ2 在分布式数据放置中，图划分与超图划分在建模数据通信成本方面有何差异？
• RQ3 基于图划分的高效近似算法在实际应用中是否能优于精确的整数规划求解器，尤其是在真实工作负载下？
• RQ4 复制、负载均衡及物化视图对数据放置策略的可扩展性与质量有何影响？
• RQ5 所提出方法在大规模真实工作负载（如 TPC-DS）上的性能与可扩展性如何？

主要发现

• 将问题简化为图划分可在数秒内实现近似最优的数据放置，而精确的 IP 求解器可能需要数周才能求解相同问题。
• 所提出的图划分方法在建模通信成本方面优于先前基于超图的方法，后者无法准确捕捉通信成本。
• 在 TPC-DS 基准测试中，该方法在通信成本上显著优于基线启发式算法，尤其在较高复制因子下表现更优。
• 启发式算法 H2 在负载均衡和最大分区大小方面始终优于 H1，更接近理想的复制分布。
• METIS 在大规模工作负载上表现出高效可扩展性，可在现代硬件上处理最多 16,000 张表和 16,000 个查询，响应时间低于 1 秒。
• 即使在涉及中间结果的复杂查询计划下，该方法仍保持有效性，展现出在真实分布式环境中的鲁棒性。