[論文レビュー] Compressed k2-Triples for Full-In-Memory RDF Engines

Sandra Álvarez-García, Nieves R. Brisaboa+2 more|arXiv (Cornell University)|May 20, 2011

Semantic Web and Ontologies参考文献 9被引用数 34

ひとこと要約

本稿では、k2-トリプルを提案する。k2-トリプルは、圧縮された、完全なメインメモリ内RDFストレージ構造であり、k2ツリーインデックスを活用して、大規模なRDFデータセットにおいても、圧縮解除なしの超効率的なSPARQLクエリ処理を可能にする。垂直分割されたRDFデータにk2ツリーを適用することで、従来の垂直分割方式やマルチインデックスシステムと比較して、優れた圧縮率とパフォーマンスを達成し、クエリ速度においても優れている。すべての処理はメインメモリ内に留まる。

ABSTRACT

Current "data deluge" has flooded the Web of Data with very large RDF datasets. They are hosted and queried through SPARQL endpoints which act as nodes of a semantic net built on the principles of the Linked Data project. Although this is a realistic philosophy for global data publishing, its query performance is diminished when the RDF engines (behind the endpoints) manage these huge datasets. Their indexes cannot be fully loaded in main memory, hence these systems need to perform slow disk accesses to solve SPARQL queries. This paper addresses this problem by a compact indexed RDF structure (called k2-triples) applying compact k2-tree structures to the well-known vertical-partitioning technique. It obtains an ultra-compressed representation of large RDF graphs and allows SPARQL queries to be full-in-memory performed without decompression. We show that k2-triples clearly outperforms state-of-the-art compressibility and traditional vertical-partitioning query resolution, remaining very competitive with multi-index solutions.

研究の動機と目的

• メインメモリ容量を超える大規模なRDFデータセットが引き起こすRDFエンジンにおけるパフォーマンスボトルネックを解消すること。
• 従来の垂直分割方式やマルチインデックスシステムのメモリ使用量とクエリ効率に関する制限を克服すること。
• 非常に大きなRDFグラフに対しても、圧縮解除なしで完全なメインメモリ内SPARQLクエリ処理を可能にするストレージ構造を設計すること。
• 高度なデータ構造を用いて、高い圧縮比を維持しながら、迅速なクエリ解決を実現すること。

提案手法

• k2ツリーのデータ構造を用いて、垂直分割されたRDFトリプル（主語、述語、目的語）を圧縮およびインデックス化する。
• k2ツリーのコンパクトな表現を活用し、各RDFコンponents（S、P、O）を個別に格納・圧縮することで、効率的なランダムアクセスを可能にする。
• k2ツリーを垂直分割と統合することで、ストレージオーバーヘッドを最小限に抑え、SPARQLクエリ実行時の高速なジョイン操作をサポートする。
• すべてのクエリ処理操作が、完全な解処理を伴わずに、圧縮されたデータ構造の上位で直接実行可能であることを保証する。
• 範囲クエリとインデックス照会を高速に処理できるようにストレージレイアウトを最適化し、SPARQL代数操作に不可欠な要因を満たす。

実験結果

リサーチクエスチョン

• RQ1 圧縮率が高く、メインメモリ内に完全に収容できるRDFストレージ構造を設計し、圧縮解除なしでクエリ処理を可能にできるか。
• RQ2 垂直分割されたRDFデータに対するk2ツリーに基づく圧縮は、従来の垂直分割方式と比較して、メモリ使用量とクエリ速度の点でどのように異なるか。
• RQ3 k2-triplesは、圧縮率とパフォーマンスの点で、マルチインデックスシステムをどの程度上回ることができるか。
• RQ4 単一インデックス構造を用いて、大規模なRDFグラフにおいて、高い圧縮率と低遅延クエリ処理を両立することは可能か。

主な発見

• k2-triplesは、従来の垂直分割方式と比較して顕著に高い圧縮比を達成し、ストレージオーバーヘッドを大幅に削減する。
• 本システムは、圧縮解除なしで完全なメインメモリ内SPARQLクエリ処理を実現し、ディスクI/Oのボトルネックを排除する。
• k2-triplesのクエリパフォーマンスは、最先端の圧縮技術および従来の垂直分割アプローチを上回る。
• k2-triplesは、複雑なマルチインデックスシステムと同等のパフォーマンスを提供するが、より単純な単一インデックスの代替手段を提供する。