[論文レビュー] Distributed Data Placement via Graph Partitioning

Lukasz Golab, Marios Hadjieleftheriou+2 more|arXiv (Cornell University)|Dec 1, 2013

Cloud Computing and Resource Management参考文献 14被引用数 4

ひとこと要約

本稿では、分散データ配置問題をグラフ分割問題に還元する新しい手法を提案する。これにより、METIS などの標準的なグラフ分割ライブラリを用いて、効率的かつ近似的に最適なデータ配置が可能になる。クエリワークロードを二部グラフとしてモデル化し、グラフ分割によって通信コストを最小化することで、数秒で高品質な解が得られる。これは、最適解を得るために数週間を要する整数計画法ソルバーよりも顕著に優れている。

ABSTRACT

With the widespread use of shared-nothing clusters of servers, there has been a proliferation of distributed object stores that offer high availability, reliability and enhanced performance for MapReduce-style workloads. However, relational workloads cannot always be evaluated efficiently using MapReduce without extensive data migrations, which cause network congestion and reduced query throughput. We study the problem of computing data placement strategies that minimize the data communication costs incurred by typical relational query workloads in a distributed setting. Our main contribution is a reduction of the data placement problem to the well-studied problem of {\sc Graph Partitioning}, which is NP-Hard but for which efficient approximation algorithms exist. The novelty and significance of this result lie in representing the communication cost exactly and using standard graphs instead of hypergraphs, which were used in prior work on data placement that optimized for different objectives (not communication cost). We study several practical extensions of the problem: with load balancing, with replication, with materialized views, and with complex query plans consisting of sequences of intermediate operations that may be computed on different servers. We provide integer linear programs (IPs) that may be used with any IP solver to find an optimal data placement. For the no-replication case, we use publicly available graph partitioning libraries (e.g., METIS) to efficiently compute nearly-optimal solutions. For the versions with replication, we introduce two heuristics that utilize the {\sc Graph Partitioning} solution of the no-replication case. Using the TPC-DS workload, it may take an IP solver weeks to compute an optimal data placement, whereas our reduction produces nearly-optimal solutions in seconds.

研究の動機と目的

• 複雑なジョインや物化ビューを含む分散リレーショナルクエリ処理における高い通信コストを低減すること。
• 従来のハイパーグラフ分割手法が通信コストを正確にモデル化できないという限界を克服すること。
• ネットワークトラフィックを最小限に抑えるように、データ配置意思決定を自動化すること。同時に、レプリケーション、負荷分散、複雑なクエリプランをサポートすること。
• 実行時間において正確な最適化手法を上回るスケーラブルで実用的なアルゴリズムを提供すること、特に大規模ワークロードにおいて。
• 継続的なデータ更新とビューの維持を伴うオンラインストリーミングデータウェアハウスの効率的導入を可能にすること。

提案手法

• テーブルとクエリをノードとし、データアクセス要件をエッジとする二部グラフとしてデータ配置問題をモデル化する。
• 通信コスト最小化問題を標準的なグラフ分割問題に還元し、METIS などの効率的なライブラリの利用を可能にする。
• レプリケーション、負荷分散、物化ビューをサポートする整数線形計画法（IP）として最適なデータ配置を定式化し、市販のソルバで解けるようにする。
• 非レプリケートケースのグラフ分割解をサブルーチンとして再利用する2つのヒューリスティクスを設計する。
• 中間結果を異なるサーバーで計算する複雑なクエリプランを捉える二部グラフ表現を構築する。
• 公開済みのグラフ分割ツールを用いて、大規模ワークロードですら数秒で近似的に最適な解を得る。

実験結果

リサーチクエスチョン

• RQ1 リレーショナルワークロードのためのデータ配置問題を、正確な通信コストモデルを保持したままグラフ分割に還元できるか？
• RQ2 分散データ配置におけるデータ通信コストのモデル化において、グラフ分割はハイパーグラフ分割よりも優れているか？
• RQ3 実用的ワークロードにおいて、グラフ分割に基づく効率的な近似アルゴリズムは、正確な整数計画法ソルバーよりも実際の性能で優れているか？
• RQ4 レプリケーション、負荷分散、物化ビューは、データ配置戦略のスケーラビリティと品質にどのように影響を与えるか？
• RQ5 TPC-DS などの大規模で実際のワークロードにおいて、提案手法の性能とスケーラビリティはいかがなものか？

主な発見

• グラフ分割への還元により、数秒で近似的に最適なデータ配置が可能となるが、正確な IP ソルバーでは同じ問題に対して数週間を要する場合がある。
• 提案手法のグラフ分割アプローチは、従来のハイパーグラフベース手法よりも通信コストのモデル化において優れており、ハイパーグラフでは正確に捉えきれない通信コストを適切に表現している。
• TPC-DS ベンチマークにおいて、本手法はベースラインのヒューリスティクスよりも顕著に低いデータ通信コストを達成しており、特にレプリケーション要因が高い場合に顕著である。
• ヒューリスティクス H2 は常に H1 よりも優れた負荷分散と低い最大パーティションサイズを達成しており、理想的なレプリケーション分布に近づいている。
• METIS は大規模ワークロードにおいても効率的にスケーリングでき、最大 16,000 テーブルおよび 16,000 クエリを含むワークロードでも、現代のハードウェアでサブ秒の性能を発揮する。
• 中間結果を含む複雑なクエリプランに対しても本手法は効果を示しており、現実の分散環境における頑健性を実証している。