[논문 리뷰] SPARQL over GraphX.

Besat Kassaie|arXiv (Cornell University)|2017. 01. 11.

Graph Theory and Algorithms참고 문헌 14인용 수 5

한 줄 요약

이 논문은 대규모 RDF 데이터셋을 효율적으로 처리하기 위해 Apache Spark 기반의 그래프-병렬 처리 프레임워크인 GraphX를 사용하여 SPARQL 쿼리 평가 시스템을 제안한다. 이는 GraphX 모델 내의 부분그래프 매칭을 활용하여, 비용이 많이 드는 조인 연산을 줄임으로써 전통적인 관계형 시스템에 비해 뛰어난 성능을 보이며, 큰 그래프에서 강력한 확장성을 보여준다.

ABSTRACT

The ability of the RDF data model to link data from heterogeneous domains has led to an explosive growth of RDF data. So, evaluating SPARQL queries over large RDF data has been crucial for the semantic web community. However, due to the graph nature of RDF data, evaluating SPARQL queries in relational databases and common data-parallel systems needs a lot of joins and is inefficient. On the other hand, the enormity of datasets that are graph in nature such as social network data, has led the database community to develop graph-parallel processing systems to support iterative graph computations efficiently. In this work we take advantage of the graph representation of RDF data and exploit GraphX, a new graph processing system based on Spark. We propose a subgraph matching algorithm, compatible with the GraphX programming model to evaluate SPARQL queries. Some experiments are performed to show the system scalability to handle large datasets.

연구 동기 및 목표

• 기존의 관계형 데이터베이스를 사용할 경우 대규모 RDF 데이터셋에서 SPARQL 쿼리 평가가 비효율적이라는 문제를 해결하기 위해.
• RDF 데이터의 본질적인 그래프 구조를 활용하여 더 효율적인 쿼리 처리를 실현하기 위해.
• Spark의 GraphX 프로그래밍 모델에 적합한 부분그래프 매칭 알고리즘을 설계하기 위해.
• 제안된 시스템의 대규모 RDF 데이터셋에서의 확장성과 성능을 평가하기 위해.

제안 방법

• GraphX의 그래프-병렬 계산 모델을 활용하기 위해 RDF 데이터를 성질 그래프로 표현하기 위해.
• GraphX의 정점 중심 프로그래밍 모델에 맞게 최적화된 부분그래프 매칭 알고리즘 설계하기 위해.
• SPARQL 대수 연산자들을 정점 및 간선 필터링, 패턴 매칭 등의 그래프 연산으로 매핑하기 위해.
• Spark의 메모리 기반 계산과 장애 복구 기능을 활용하여 쿼리 처리 성능 향상시키기 위해.
• 패턴 매칭과 바인딩 전파를 포함한 복잡한 SPARQL 쿼리 처리를 위한 반복적 처리 구현하기 위해.

실험 결과

연구 질문

• RQ1 GraphX는 대규모 RDF 데이터셋에서 SPARQL 쿼리 평가에 효과적으로 활용될 수 있는가?
• RQ2 제안된 GraphX 기반 접근 방식은 전통적인 관계형 데이터베이스 시스템에 비해 SPARQL 평가 성능에서 어떻게 비교되는가?
• RQ3 데이터셋 크기와 쿼리 복잡도 증가에 따라 시스템의 확장성은 어느 정도 향상되는가?

주요 결과

• 제안된 GraphX 기반 SPARQL 평가 시스템은 비용이 많이 드는 조인 연산을 피하기 때문에 기존의 관계형 시스템보다 더 뛰어난 성능을 달성한다.
• GraphX의 메모리 기반 분산 그래프 처리 기능 덕분에 대규모 RDF 데이터셋에서 강력한 확장성을 보여준다.
• GraphX 내의 부분그래프 매칭을 통해 반복적 그래프 계산을 통해 복잡한 SPARQL 쿼리의 효율적 평가가 가능하다.
• 이 방법은 RDF 데이터의 그래프적 특성을 효과적으로 활용하여 관계형 모델 대비 쿼리 처리 오버헤드를 줄인다.