[論文レビュー] Partout: A Distributed Engine for Efficient RDF Processing

Luis Galárraga, Katja Hose+1 more|arXiv (Cornell University)|Dec 21, 2012

Semantic Web and Ontologies参考文献 36被引用数 41

ひとこと要約

Partoutは、代表的なクエリワークロードに基づいてRDFデータをクラスタ全体に分散してパーティショニング・アロケートすることで、クエリの実行パフォーマンスを最適化する分散RDF処理エンジンである。頻繁に結合される三項節を同じノードに配置することで、ノード間通信を最小限に抑えることで、レプリケーションを用いないにもかかわらず、中央集権的および既存の分散システムと比較して優れたスループットとスケーラビリティを達成する。

ABSTRACT

The increasing interest in Semantic Web technologies has led not only to a rapid growth of semantic data on the Web but also to an increasing number of backend applications with already more than a trillion triples in some cases. Confronted with such huge amounts of data and the future growth, existing state-of-the-art systems for storing RDF and processing SPARQL queries are no longer sufficient. In this paper, we introduce Partout, a distributed engine for efficient RDF processing in a cluster of machines. We propose an effective approach for fragmenting RDF data sets based on a query log, allocating the fragments to nodes in a cluster, and finding the optimal configuration. Partout can efficiently handle updates and its query optimizer produces efficient query execution plans for ad-hoc SPARQL queries. Our experiments show the superiority of our approach to state-of-the-art approaches for partitioning and distributed SPARQL query processing.

研究の動機と目的

• 増大するデータ量に伴い、特にトランジリオン・トライプルを超えるデータセットにおいて、中央集権的RDFストアのスケーラビリティの限界を克服すること。
• 知的なデータ断片化とアロケーションを通じて、ノード間通信を最小限に抑えることで、分散SPARQLクエリ処理を改善すること。
• クラスタ環境における分散RDF処理に特化した、コストベースのクエリオプティマイザーと実行モデルを設計すること。
• データレプリケーションに依存せずに、分散環境での効率的な更新処理を可能にすること。

提案手法

• 頻繁に共起するクエリパターンを断片にグループ化することで、ノード間結合を最小限に抑えるクエリワークロードに配慮したデータパーティショニングアルゴリズムを提案する。
• アクセスパターンをモデル化するためのグローバルな断片クエリグラフを用い、断片をクラスタノードに割り当てる。
• 選択性、結合サイズ、通信コストを推定するコストモデルを適用し、分散クエリ実行のための計画生成を支援する。
• パイプライン処理を活用して中間結果の転送を最小限に抑えることで、効率的な実行計画を生成するヒューリスティックベースのクエリオプティマイザーを採用する。
• ストレージのオーバーヘッドを削減し、更新効率を向上させるために、レプリケーションを用いないストレージモデルを実装する。
• 各断片を1つのホストに割り当てることで、重複管理の複雑さを回避し、動的クエリ処理を可能にする。

実験結果

リサーチクエスチョン

• RQ1 SPARQLクエリにおけるノード間通信を最小限に抑えるために、RDFデータをクラスタ全体にどのようにパーティショニング・アロケートすればよいか。
• RQ2 代表的なクエリワークロードが与えられた場合、データ断片とホスト割り当ての最適な構成は何か。
• RQ3 データレプリケーションを用いない分散RDFシステムは、中央集権的または既存の分散システムよりも優れたスループットとスケーラビリティを達成できるか。
• RQ4 最小限の通信で実現する分散環境におけるクエリ最適化は、従来のフェデレーテッドまたはMapReduceベースのアプローチと比較してどのように異なるか。
• RQ5 クエリに配慮したパーティショニングとレプリケーションの間で、分散RDF処理において性能のトレードオフは何か。

主な発見

• Partoutは、ノード間通信を削減することで、中央集権的システムおよび既存の分散アプローチと比較して、特に高並列処理環境下で優れたスループットを達成する。
• 関連するホストのみが各クエリ評価に参加するため、同時に実行されるクエリ数が増加しても、効率的にスケーリングする。
• レプリケーションを回避することで、ストレージのオーバーヘッドを削減し、更新処理の効率を向上させることができ、レプリケーションを用いるシステムと比較して、更新処理がより複雑になるのを防ぐ。
• 分散コストモデルを用いたクエリオプティマイザーは、パイプライン処理を活用し、中間結果の転送を最小限に抑える効率的な実行計画を生成する。
• BTCデータセットでは、3台のホストを用いたPartoutは、他のアプローチが同様の負荷でタイムアウトする中で、同時に実行されるクエリを効果的に処理できた。
• 中間結果が大きいクエリに対して特に効果的であり、アクセスパターンに基づいて断片を共存させるため、これらの結果がローカルに保持されるからである。