[論文レビュー] Adaptive Partitioning for Very Large RDF Data

Razen Harbi, Ibrahim Abdelaziz+4 more|arXiv (Cornell University)|May 11, 2015

Graph Theory and Algorithms参考文献 26被引用数 4

ひとこと要約

AdHash は、クエリ評価中の通信コストを最小限に抑えるために軽量な主語ベースのハッシュパーティショニングを用いる分散 RDF システムであり、頻繁にアクセスされるパターンの再配置およびレプリケーションによってクエリワークロードに動的に適応する。このシステムは、100億規模の RDF データに対してサブ秒未塔のクエリパフォーマンスを達成し、従来のシステムよりも起動オーバーヘッドとレプリケーションオーバーヘッドが低い。

ABSTRACT

Distributed RDF systems partition data across multiple computer nodes (workers). Some systems perform cheap hash partitioning, which may result in expensive query evaluation, while others apply heuristics aiming at minimizing inter-node communication during query evaluation. This requires an expensive data preprocessing phase, leading to high startup costs for very large RDF knowledge bases. Apriori knowledge of the query workload has also been used to create partitions, which however are static and do not adapt to workload changes; hence, inter-node communication cannot be consistently avoided for queries that are not favored by the initial data partitioning. In this paper, we propose AdHash, a distributed RDF system, which addresses the shortcomings of previous work. First, AdHash applies lightweight partitioning on the initial data, that distributes triples by hashing on their subjects; this renders its startup overhead low. At the same time, the locality-aware query optimizer of AdHash takes full advantage of the partitioning to (i)support the fully parallel processing of join patterns on subjects and (ii) minimize data communication for general queries by applying hash distribution of intermediate results instead of broadcasting, wherever possible. Second, AdHash monitors the data access patterns and dynamically redistributes and replicates the instances of the most frequent ones among workers. As a result, the communication cost for future queries is drastically reduced or even eliminated. To control replication, AdHash implements an eviction policy for the redistributed patterns. Our experiments with synthetic and real data verify that AdHash (i) starts faster than all existing systems, (ii) processes thousands of queries before other systems become online, and (iii) gracefully adapts to the query load, being able to evaluate queries on billion-scale RDF data in sub-seconds.

研究の動機と目的

• 高コストの事前処理や静的ワークロードに依存する既存の分散 RDF システムが直面する高い起動コストと、柔軟性に欠けるパーティショニングの問題に対処すること。
• データローカリティと動的ワークロード適応を活用して、SPARQL クエリ評価中のノード間通信を最小限に抑えること。
• レプリケーションおよび通信オーバーヘッドを最小限に抑えつつ、負荷バランスを維持することで、非常に大きな RDF データセットの効率的でスケーラブルな処理を可能にすること。
• ランタイムでの監視と段階的データ再配置を通じて、変化するクエリワークロードへの動的適応を可能にすること。

提案手法

• 初期データパーティショニングは、三項の主語に対して軽量なハッシュ関数を用いて実行され、低コストの起動と良好な初期負荷バランスを確保する。
• クエリオプティマイザは、一般クエリの通信を最小限に抑えるために、中間結果のハッシュ分散をブロードキャストの代わりに使用する。
• AdHash はクエリアクセスパターンを監視し、頻繁に実行されるパターン（ホットパターン）を特定して動的再配置を実行する。
• ホットパターンは、データローカリティを維持するハッシュベースの再配置メカニズムを用いて関連するワーカーにレプリケートされる。
• エビクトションポリシーは、使用頻度が低いパターンを削除することで、レプリケーションのストレージオーバーヘッドを制御する。
• システムは、フルデータリロードなしにホットパターンの再パーティショニングおよび再インデックス化を段階的に実行することで、ワークロード変化に動的に適応する。

実験結果

リサーチクエスチョン

• RQ1 複雑な SPARQL クエリに対して、高い起動コストを抑えつつ通信コストを最小限に抑える分散 RDF システムは実現可能か？
• RQ2 動的ワークロード適応は、高いレプリケーションオーバーヘッドを伴わずに大規模 RDF システムのクエリパフォーマンスを向上させられるか？
• RQ3 ハッシュベースのパーティショニングとランタイムでのパターン再配布は、分散 RDF クエリ評価におけるノード間通信をどの程度削減できるか？
• RQ4 異なるデータサイズおよびクエリワークロードの下で、システムは負荷バランスとスケーラビリティをどのように維持するか？

主な発見

• AdHash は、軽量な初期パーティショニングのおかげで、すべての既存システムよりも迅速に起動し、競合他社がオンラインになる前に数千件のクエリを処理できる。
• 100億規模の RDF データにおいて、AdHash はサブ秒未塔でクエリを評価し、実世界のワークロード下でも優れたパフォーマンスを示している。
• AdHash は、従来のシステムよりも通信コストとレプリケーションオーバーヘッドを低減しており、WatDiv-1B では平均で 1.33%、LUBM-10240 では 1.39% のレプリケーション比を達成している。
• システムは優れたデータおよびワークロードバランスを実現しており、ワーカー間での三項分布の標準偏差が 0.07 未満に抑えられており、負荷が均等に分散されている。
• AdHash はほぼ最適な強スケーラビリティを示しており、ワーカー数が増加するにつれてパフォーマンスが向上し、特に並列実行可能なクエリで顕著である。
• WatDiv-1B において、QDegree ヒューリスティックによるパターン選択が、他のヒューリスティックと比較して最も少ないレプリケーションを実現しながら、低い通信コストを維持した。