[論文レビュー] PHD-Store: An Adaptive SPARQL Engine with Dynamic Partitioning for Distributed RDF Repositories

Razen Harbi, Yasser Ebrahim+1 more|arXiv (Cornell University)|May 20, 2014

Graph Theory and Algorithms参考文献 24被引用数 7

ひとこと要約

PHD-Store は、分散 RDF レポジトリ向けの動的で適応的な SPARQL エンジンであり、初期データ配置や事前処理を不要とすることで、高価な前処理を回避する。初期段階では分散セミジョインアルゴリズムを用い、クエリワークロードに基づいて頻繁にアクセスされるデータを段階的に再パーティショニングすることで、実行時におけるデータ再配置に伴うランタイム認識型のハッシュベース並列処理を可能にし、1〜2桁の高速化を達成する。初期データ配置や事前パーティショニングを必要としないため、競合他社のシステムよりも1〜2桁の高速なクエリ実行が可能である。

ABSTRACT

Many repositories utilize the versatile RDF model to publish data. Repositories are typically distributed and geographically remote, but data are interconnected (e.g., the Semantic Web) and queried globally by a language such as SPARQL. Due to the network cost and the nature of the queries, the execution time can be prohibitively high. Current solutions attempt to minimize the network cost by redistributing all data in a preprocessing phase, but here are two drawbacks: (i) redistribution is based on heuristics that may not benefit many of the future queries; and (ii) the preprocessing phase is very expensive even for moderate size datasets. In this paper we propose PHD-Store, a SPARQL engine for distributed RDF repositories. Our system does not assume any particular initial data placement and does not require prepartitioning; hence, it minimizes the startup cost. Initially, PHD-Store answers queries using a potentially slow distributed semi-join algorithm, but adapts dynamically to the query load by incrementally redistributing frequently accessed data. Redistribution is done in a way that future queries can benefit from fast hash-based parallel execution. Our experiments with synthetic and real data verify that PHD-Store scales to very large datasets; many repositories; converges to comparable or better quality of partitioning than existing methods; and executes large query loads 1 to 2 orders of magnitude faster than our competitors.

研究の動機と目的

• 地理的に遠隔に位置するデータと相互に接続されたクエリによる高額なネットワークコストと長時間の実行時間の問題に対処すること。
• ヒューリスティックに基づく事前計算されたデータパーティショニングに依存する既存システムの限界を克服すること。これには高い前処理コストが伴い、実際のクエリワークロードと一致しない可能性がある。
• クエリパターンに応じて動的に適応するシステムを設計し、頻繁にアクセスされるデータを段階的に再配置することで、将来のクエリ実行を最適化すること。
• 初期データ再配置や事前パーティショニングフェーズを回避することで、起動オーバーヘッドを最小限に抑えること。
• 大規模な分散 RDF データセットにおけるスケーラブルで高パフォーマンスな SPARQL クエリ処理を達成すること。

提案手法

• システムは、事前のデータ配置が不要なため、低起動コストを確保するため、分散セミジョインアルゴリズムを用いてクエリを実行する。
• リアルタイムでクエリワークロードを監視し、頻繁にアクセスされるデータパターンを特定する。
• ワークロード分析に基づき、PHD-Store はホットデータをノード間で段階的に再配布し、効率的なハッシュベース並列実行を可能にする。
• 再配布戦略は、ネットワークトラフィックを最小限に抑え、繰り返し発生するパターンに対してクエリパフォーマンスを最大化することを目的として設計されている。
• クエリ実行履歴から学習し、頻繁にアクセスされる三元組の局所性を維持することで、動的にパーティショニングを調整する。
• グローバルな再組織化を回避し、ホットデータに焦点を当てることで、大規模データセットにおけるスケーラブルな実行を実現する。

実験結果

リサーチクエスチョン

• RQ1 初期データパーティショニングや前処理を必要とせずに、SPARQL エンジンがクエリワークロードに動的に適応可能か。
• RQ2 クエリ頻度に基づく動的データ再配布は、静的またはヒューリスティックベースのパーティショニングと比較して、クエリパフォーマンスとスケーラビリティにおいてどのように異なるか。
• RQ3 実行時認識型データ配置によって、分散 RDF レポジトリにおけるネットワークオーバーヘッドをどれほど低減でき、クエリ実行時間をどれほど改善できるか。
• RQ4 起動コストを最小限に抑えながら、既存の手法と同等または優れたパーティショニング品質に収束できるか。
• RQ5 実世界および合成ワークロードにおけるデータセットサイズとクエリ負荷の増加に伴い、システムはどのようにスケーリングするか。

主な発見

• PHD-Store は、大規模なクエリワークロードにおいて、競合他社のシステムと比較して 1〜2 桁の高速なクエリ実行を達成している。
• 初期段階でデータ配置が一切ないにもかかわらず、PHD-Store は既存の静的およびヒューリスティックベースの手法と同等または優れたパーティショニング品質に収束している。
• 前処理や事前パーティショニングを回避することで、PHD-Store は起動コストを顕著に低減しており、動的または変化するデータ環境に適している。
• 動的再配布メカニズムは、頻繁にアクセスされるデータを効果的に特定し、クエリパターンが安定化するにつれてパフォーマンスが向上する。
• 合成および実世界の RDF データセットを用いた実験により、PHD-Store が非常に大規模なデータセットおよび多数のレポジトリに対しても効率的にスケーリングできることを確認した。
• 多様なワークロードにおいても、適応的データ配置により低遅延と高スループットを維持する、堅牢なパフォーマンスを示した。