[논문 리뷰] Compressed k2-Triples for Full-In-Memory RDF Engines

Sandra Álvarez-García, Nieves R. Brisaboa외 2명|arXiv (Cornell University)|2011. 05. 20.

Semantic Web and Ontologies참고 문헌 9인용 수 34

한 줄 요약

이 논문은 대규모 RDF 데이터셋에서 초고속, 압축 해제 없이 SPARQL 쿼리 처리를 가능하게 하는 압축된, 메모리 기반 전체 RDF 저장 구조인 k2-triples를 제안한다. 수직 분할된 RDF 데이터에 k2-트리 색인을 적용함으로써 뛰어난 압축률과 성능을 달성하여, 기존의 수직 분할 및 다중 색인 시스템보다 쿼리 속도에서 뛰어나면서도 메인 메모리에 완전히 유지된다.

ABSTRACT

Current "data deluge" has flooded the Web of Data with very large RDF datasets. They are hosted and queried through SPARQL endpoints which act as nodes of a semantic net built on the principles of the Linked Data project. Although this is a realistic philosophy for global data publishing, its query performance is diminished when the RDF engines (behind the endpoints) manage these huge datasets. Their indexes cannot be fully loaded in main memory, hence these systems need to perform slow disk accesses to solve SPARQL queries. This paper addresses this problem by a compact indexed RDF structure (called k2-triples) applying compact k2-tree structures to the well-known vertical-partitioning technique. It obtains an ultra-compressed representation of large RDF graphs and allows SPARQL queries to be full-in-memory performed without decompression. We show that k2-triples clearly outperforms state-of-the-art compressibility and traditional vertical-partitioning query resolution, remaining very competitive with multi-index solutions.

연구 동기 및 목표

• 메인 메모리 용량을 초과하는 대규모 RDF 데이터셋으로 인해 발생하는 RDF 엔진의 성능 저하 문제를 해결한다.
• 기존의 수직 분할 및 다중 색인 시스템이 메모리 사용량과 쿼리 효율성 측면에서 가지는 한계를 극복한다.
• 매우 큰 RDF 그래프에 대해서도 압축 해제 없이 전체 메모리 기반 SPARQL 쿼리 처리가 가능한 저장 구조를 설계한다.
• 고도로 발전된 데이터 구조를 통해 높은 압축 비율을 달성하면서도 신속한 쿼리 해결 성능을 유지를 한다.

제안 방법

• 수직 분할된 RDF 삼중항(S, P, O)에 k2-트리 데이터 구조를 적용하여 압축 및 색인화한다.
• k2-트리의 압축된 표현 방식을 활용해 각 RDF 구성요소(S, P, O)를 별도로 저장 및 압축하여 효율적인 랜덤 액세스를 가능하게 한다.
• k2-트리를 수직 분할과 통합하여 저장 오버헤드를 최소화하고, SPARQL 쿼리 실행 중 빠른 조인 연산을 지원한다.
• 모든 쿼리 처리 연산이 완전한 해제 압축 없이도 압축된 데이터 구조에서 직접 수행될 수 있도록 보장한다.
• 범위 쿼리 및 색인 검색을 빠르게 지원할 수 있도록 저장 레이아웃을 최적화하여, SPARQL 대수 연산에 핵심적인 역할을 한다.

실험 결과

연구 질문

• RQ1 압축된, 메모리 기반의 RDF 저장 구조를 설계하여, 압축 해제 없이 전체 쿼리 처리를 지원할 수 있는가?
• RQ2 수직 분할된 RDF 데이터에 k2-트리 기반 압축을 적용할 경우, 기존의 수직 분할 방식과 비교해 메모리 사용량과 쿼리 속도에서 어떤 차이가 있는가?
• RQ3 k2-triples는 다중 색인 시스템 대비 얼마나 뛰어난 압축률과 성능을 보일 수 있는가?
• RQ4 단일 색인 구조를 통해 대규모 RDF 그래프에서 높은 압축률과 낮은 지연 시간을 동시에 달성하는 것이 가능한가?

주요 결과

• k2-triples는 기존의 수직 분할 기법보다 유의미하게 높은 압축 비율을 달성하여 저장 오버헤드를 크게 감소시킨다.
• 시스템은 압축 해제 없이 전체 메모리 기반 SPARQL 쿼리 처리를 가능하게 하여 디스크 I/O 병목 현상을 제거한다.
• k2-triples의 쿼리 성능은 최신 압축 기술 및 기존 수직 분할 접근 방식을 모두 능가한다.
• k2-triples는 복잡한 다중 색인 시스템과 경쟁 가능하며, 유사한 성능을 보이면서도 더 단순한 단일 색인 대안을 제공한다.