[논문 리뷰] Compressed Vertical Partitioning for Full-In-Memory RDF Management

Sandra Álvarez-García, Nieves R. Brisaboa외 3명|arXiv (Cornell University)|2013. 10. 18.

Semantic Web and Ontologies참고 문헌 39인용 수 4

한 줄 요약

이 논문은 k²-triples를 제안하며, 주어진 술어에 대해 주어-목적어 쌍을 희소 이진 행렬로 표현하고, k²-트리로 효율적으로 압축하는 메모리 내 RDF 관리용 압축된 수직 분할 기법을 개발한다. 이 방법은 기존 최고 수준의 기준 대비 최대 10배의 공간 절감과 5–7개 지수 정도의 더 빠른 SPARQL 해석 성능을 달성하며, k²-triples에 최적화된 조인 알고리즘은 핵심 쿼리 패턴에서 기존 시스템을 능가한다.

ABSTRACT

The Web of Data has been gaining momentum and this leads to increasingly publish more semi-structured datasets following the RDF model, based on atomic triple units of subject, predicate, and object. Although it is a simple model, compression methods become necessary because datasets are increasingly larger and various scalability issues arise around their organization and storage. This requirement is more restrictive in RDF stores because efficient SPARQL resolution on the compressed RDF datasets is also required. This article introduces a novel RDF indexing technique (called k2-triples) supporting efficient SPARQL resolution in compressed space. k2-triples, uses the predicate to vertically partition the dataset into disjoint subsets of pairs (subject, object), one per predicate. These subsets are represented as binary matrices in which 1-bits mean that the corresponding triple exists in the dataset. This model results in very sparse matrices, which are efficiently compressed using k2-trees. We enhance this model with two compact indexes listing the predicates related to each different subject and object, in order to address the specific weaknesses of vertically partitioned representations. The resulting technique not only achieves by far the most compressed representations, but also the best overall performance for RDF retrieval in our experiments. Our approach uses up to 10 times less space than a state of the art baseline, and outperforms its performance by several order of magnitude on the most basic query patterns. In addition, we optimize traditional join algorithms on k2-triples and define a novel one leveraging its specific features. Our experimental results show that our technique overcomes traditional vertical partitioning for join resolution, reporting the best numbers for joins in which the non-joined nodes are provided, and being competitive in the majority of the cases.

연구 동기 및 목표

• 메모리 내 대규모 RDF 데이터셋의 확장성 문제를 해결하기 위해 공간 사용을 최소화한다.
• 기존 수직 분할 기법과 메모리 내 SPARQL 성능 저하 문제를 해결하기 위해 고도의 압축 및 색인 기법을 도입한다.
• 빠른 삼중항 패턴 쿼리 및 조인 쿼리를 지원하는 컴act하고 효율적이며 확장 가능한 RDF 스토리지 모델을 설계한다.
• k²-트리 압축과 주어 및 목적어를 위한 보조 컴act 색인을 조합하여 전체 메모리 내 SPARQL 해석을 가능하게 한다.
• k²-triples 데이터 구조에 특화된 최적화된 조인 알고리즘을 개발하여 실제 RDF 워크로드에서의 성능 향상을 도모한다.

제안 방법

• 각 술어별로 RDF 데이터셋을 수직 분할하여, 각 술어에 대해 주어×목적어 이진 행렬을 별도로 생성한다.
• 각 행렬을 희소 이진 구조로 표현하며, 1비트는 삼중항 (주어, 술어, 목적어) 의 존재를 나타낸다.
• 각 희소 행렬을 k²-트리로 압축하여, 희소 이진 데이터에 대해 효율적인 압축과 색인 액세스를 제공한다.
• 주어 및 목적어 별로 각각 하나의 추가 컴팩트 색인을 도입하여, 무한정 술어 쿼리에 대응한다.
• 기존 조인 알고리즘을 최적화하고, k²-triples의 구조적 특성을 활용한 새로운 체인 기반 평가 전략을 도입한다.
• 실제 세계의 RDF 데이터셋을 대상으로 시스템을 구현하고 평가하며, RDF3X 및 MonetDB와 같은 최고 수준의 시스템과 성능 및 공간 사용량을 비교한다.

실험 결과

연구 질문

• RQ1 수직 분할과 k²-트리 압축을 조합하여, 기존의 메모리 내 RDF 시스템보다 현저히 뛰어난 공간 효율성과 쿼리 성능을 달성할 수 있는가?
• RQ2 주어 및 목적어를 위한 보조 컴팩트 색인의 포함 여부가 무한정 술어를 포함한 SPARQL 쿼리 성능에 어떤 영향을 미치는가?
• RQ3 삼중항 패턴 쿼리 및 조인 쿼리에서 k²-triples 모델이 기존 시스템 대비 쿼리 실행 시간과 메모리 점유율 측면에서 어느 정도 뛰어난가?
• RQ4 k²-triples의 구조적 특성을 활용해 조인 해결 성능을 향상시킬 수 있는 새로운 조인 평가 전략을 설계할 수 있는가?
• RQ5 다양한 RDF 데이터셋 크기와 조인 패턴에서, 특히 중간 결과 집합 크기가 변동하는 경우 시스템의 확장성은 어떠한가?

주요 결과

• k²-triples는 최고 수준의 기준 대비 최대 10배의 공간 절감을 달성하여 메모리 효율성을 크게 향상시킨다.
• 기본 삼중항 패턴 쿼리에서 기준 대비 최대 5–7개 지수 정도의 더 빠른 SPARQL 해석 성능을 제공하며, 특히 술어가 고정된 경우에 두드러진다.
• 비조인 노드가 제공되는 조인 쿼리(예: A, D, G 조인)의 경우, k²-triples +는 RDF3X 및 MonetDB를 능가하며, OO 조인의 경우 체인 평가가 최적의 성능을 낸다.
• 무한정 술어가 포함된 경우, 보조 색인 덕분에 k²-triples는 경쟁력 있는 성능을 유지하지만, 고정 술어 케이스에 비해 다소 성능 저하가 발생한다.
• k²-triples +에서 새롭게 도입된 체인 기반 조인 평가 전략은 OO 조인에서 가장 뛰어난 성능을 보이며, 대부분의 경우 RDF3X 및 인터랙티브 평가 방식을 능가한다.
• 작은 중간 결과 집합을 포함하는 조인의 경우 k²-triples +가 가장 빠른 시스템이며, 큰 중간 결과 집합의 경우에도 특히 술어가 고정된 경우 경쟁력 있는 성능 유지를 한다.