[논문 리뷰] Query Workload-based RDF Graph Fragmentation and Allocation

Peng Peng, Lei Zou외 2명|arXiv (Cornell University)|2015. 08. 31.

Graph Theory and Algorithms참고 문헌 32인용 수 8

한 줄 요약

이 논문은 SPARQL 쿼리 워크로드에서 빈번한 부분그래프 패턴을 추출하여 수직 및 수평 분할을 이끄는 쿼리 워크로드 기반 RDF 그래프 분할 및 할당 방법을 제안한다. 이는 교착 통신을 최소화한다. 빈번한 쿼리 패턴과 일치하는 분할을 통해 실제 워크로드의 97% 쿼리가 분할 간 통신을 피하게 되어 분산 RDF 시스템에서 쿼리 성능을 크게 향상시킨다.

ABSTRACT

As the volume of the RDF data becomes increasingly large, it is essential for us to design a distributed database system to manage it. For distributed RDF data design, it is quite common to partition the RDF data into some parts, called fragments, which are then distributed. Thus, the distribution design consists of two steps: fragmentation and allocation. In this paper, we propose a method to explore the intrinsic similarities among the structures of queries in a workload for fragmentation and allocation, which aims to reduce the number of crossing matches and the communication cost during SPARQL query processing. Specifically, we mine and select some frequent access patterns to reflect the characteristics of the workload. Here, although we prove that selecting the optimal set of frequent access patterns is NP-hard, we propose a heuristic algorithm which guarantees both the data integrity and the approximation ratio. Based on the selected frequent access patterns, we propose two fragmentation strategies, vertical and horizontal fragmentation strategies, to divide RDF graphs while meeting different kinds of query processing objectives. Vertical fragmentation is for better throughput and horizontal fragmentation is for better performance. After fragmentation, we discuss how to allocate these fragments to various sites. Finally, we discuss how to process a query based on the results of fragmentation and allocation. Extensive experiments confirm the superior performance of our proposed solutions.

연구 동기 및 목표

• 쿼리 워크로드 패턴을 활용하여 분산 RDF 쿼리 처리에서 통신 비용을 줄이기 위해.
• 빈번한 액세스 패턴에 부합하는 수직 및 수평 분할 전략을 설계하기 위해.
• 스토리지 오버헤드를 고려하여 성능 향상과 균형을 이루기 위해 지능적인 빈번한 액세스 패턴 선택 전략을 수립하기 위해.
• 쿼리 실행을 효율적으로 하기 위해 분할된 조각들을 사이트 간에 최적화하여 분포시키는 할당 전략을 개발하기 위해.
• 분할 및 할당 결과를 기반으로 하위그래프 매칭의 국소성을 활용하여 효율적인 쿼리 처리를 가능하게 하기 위해.

제안 방법

• 최소 지지도 기준을 사용하여 실질적인 SPARQL 쿼리 워크로드(예: DBpedia)에서 빈번한 부분그래프 패턴을 추출한다.
• 두 가지 분할 전략을 정의한다: 처리량을 높이기 위한 수직 분할과 성능을 향상시키기 위한 수평 분할로, 모두 추출된 빈번한 액세스 패턴에 의해 이끌린다.
• 빈번한 액세스 패턴 선택 문제를 NP-난이도 최적화 문제로 공식화하고, 데이터 무결성과 근사 비율을 유지하는 휴리스틱 알고리즘을 제안한다.
• 접근 빈도와 통신 비용 최소화 기반으로 분할 조각들을 사이트 간에 분배하는 분할 할당 알고리즘을 제안한다.
• 분할 및 할당 구조를 활용하여 교착 통신을 최소화하는 SPARQL 쿼리 실행 엔진을 설계한다.
• 그래프 군집화와 패턴 매칭을 사용하여 분할 경계를 원본 RDF 그래프로 복원하여 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 SPARQL 쿼리 워크로드에서 빈번한 부분그래프 패턴을 효과적으로 추출하여 RDF 그래프 분할을 이끄는 방법은 무엇인가?
• RQ2 분산 RDF 시스템에서 성능과 통신 비용을 균형 잡는 데 가장 효과적인 분할 전략(수직 대 수평)은 무엇인가?
• RQ3 데이터 복제를 최소화하면서 쿼리 국소성을 극대화하기 위해 빈번한 액세스 패턴을 어떻게 선택할 수 있는가?
• RQ4 쿼리 평가 중 통신을 최소화하기 위해 분할 조각들을 사이트에 최적으로 분포시키는 할당 전략은 무엇인가?
• RQ5 작업 기반 분할이 실제 SPARQL 워크로드에서 분할 간 통신을 얼마나 효과적으로 제거할 수 있는가?

주요 결과

• DBpedia 워크로드에서 97%의 SPARQL 쿼리가 163개의 빈번한 부분그래프 패턴 중 하나와 이sovomorphism을 이룬다. 이는 강한 쿼리 국소성을 시사한다.
• 이러한 빈번한 패턴을 분할 단위로 사용함으로써, 97%의 쿼리에서 통신 비용이 완전히 제거되며, 이는 매칭 결과가 한 분할 내에 모두 존재하기 때문이다.
• 제안된 휴리스틱 패턴 선택 알고리즘이 높은 근사 비율을 확보하면서도 데이터 무결성을 유지하고 공간 오버헤드를 최소화한다.
• 광범위한 실험 결과, 작업 기반 분할 전략이 전통적인 그래프 군집화 방법 대비 통신 비용을 크게 줄이고 쿼리 처리 성능을 향상시킴을 확인하였다.
• 실제 워크로드 하에서 수직 분할 전략은 처리량 측면에서, 수평 분할 전략은 응답 시간 측면에서 기준 대비 우수한 성능을 보였다.
• 할당 전략은 자주 액세스되는 분할 조각을 동일하거나 인접한 사이트에 배치하여 사이트 간 통신을 효과적으로 감소시켰다.