[논문 리뷰] GSmart: An Efficient SPARQL Query Engine Using Sparse Matrix Algebra -- Full Version

Yuedan Chen, M. TAMER ÖZSU외 3명|arXiv (Cornell University)|2021. 06. 26.

Graph Theory and Algorithms참고 문헌 40인용 수 5

한 줄 요약

GSmart는 이질적 HPC 아키텍처에서 RDF 쿼리 처리를 가속화하기 위해 희소 행렬 대수를 활용하는 고성능 SPARQL 쿼리 엔진이다. 그룹화된 인cidient 엣지 평가, 행렬 기반 쿼리 플래너, LSpM 및 트리 기반 결과 저장과 같은 최적화된 데이터 구조를 통해 GSmart는 단일 CPU+GPU 노드에서 기존 엔진 대비 최대 46,920배의 성능 향상을 달성했으며, Tianhe-1A에서 2에서 16개 노드로 증가할 때 6.90배의 강한 스케일링 성능을 보였다.

ABSTRACT

Efficient execution of SPARQL queries over large RDF datasets is a topic of considerable interest due to increased use of RDF to encode data. Most of this work has followed either relational or graph-based approaches. In this paper, we propose an alternative query engine, called gSmart, based on matrix algebra. This approach can potentially better exploit the computing power of high-performance heterogeneous architectures that we target. gSmart incorporates: (1) grouped incident edge-based SPARQL query evaluation, in which all unevaluated edges of a vertex are evaluated together using a series of matrix operations to fully utilize query constraints and narrow down the solution space; (2) a graph query planner that determines the order in which vertices in query graphs should be evaluated; (3) memory- and computation-efficient data structures including the light-weight sparse matrix (LSpM) storage for RDF data and the tree-based representation for evaluation results; (4) a multi-stage data partitioner to map the incident edge-based query evaluation into heterogeneous HPC architectures and develop multi-level parallelism; and (5) a parallel executor that uses the fine-grained processing scheme, pre-pruning technique, and tree-pruning technique to lower inter-node communication and enable high throughput. Evaluations of gSmart on a CPU+GPU HPC architecture show execution time speedups of up to 46920.00x compared to the existing SPARQL query engines on a single node machine. Additionally, gSmart on the Tianhe-1A supercomputer achieves a maximum speedup of 6.90x scaling from 2 to 16 CPU+GPU nodes.

연구 동기 및 목표

• 대규모 RDF 데이터셋에 대한 효율적인 SPARQL 쿼리 처리의 증가하는 수요를 해결한다.
• 현대의 이질적 HPC 아키텍처를 효과적으로 활용하지 못하는 전통적인 관계형 및 그래프 기반 SPARQL 엔진의 한계를 극복한다.
• GPU와 CPU 자원을 최대한 활용할 수 있도록 행렬 대수 기반의 쿼리 실행 모델을 설계한다.
• RDF 워크로드와 대규모 쿼리 실행에 특화된 메모리 및 계산 효율적인 데이터 구조를 개발한다.
• 다중 수준의 병렬성과 잘라내기 기법을 통해 고처리량, 저통신량 병렬 쿼리 실행을 가능하게 한다.

제안 방법

• 모든 미평가 엣지를 한 번에 처리하는 그룹화된 인cidient 엣지 기반 평가를 적용하여, 쿼리 제약 조건을 활용하고 검색 공간을 줄인다.
• 쿼리 그래프에서 최적의 정점 평가 순서를 결정함으로써 계산 오버헤드를 최소화하는 그래프 쿼리 플래너를 도입한다.
• RDF 데이터를 효율적으로 저장하기 위해 경량 희소 행렬(LSpM) 형식을 사용하여 메모리 사용량을 줄이고 캐시 국소성을 향상시킨다.
• 중간 및 최종 쿼리 결과를 저메모리 할당 오버헤드로 효율적으로 관리하기 위해 트리 기반 결과 표현 방식을 구현한다.
• 이종 HPC 노드에 인cidient 엣지 연산을 매핑하기 위해 다단계 데이터 파artitioner를 설계하여 작업 수준 및 데이터 수준의 병렬성을 가능하게 한다.
• 세밀한 처리, 사전 잘라내기 및 트리 잘라내기 기법을 갖춘 병렬 실행 엔진을 구현하여 노드 간 통신을 최소화하고 처리량을 극대화한다.

실험 결과

연구 질문

• RQ1 희소 행렬 대수가 현대 HPC 시스템에서 뛰어난 성능을 달성하기 위해 SPARQL 쿼리 평가에 효과적으로 적용될 수 있는가?
• RQ2 행렬 연산을 통한 그룹화된 인cidient 엣지 처리 방식이 솔루션 공간을 어떻게 줄이고 쿼리 효율성을 향상시키는가?
• RQ3 쿼리 플래닝이 이종 아키텍처에서 행렬 기반 SPARQL 실행을 최적화하는 데 어떤 역할을 하는가?
• RQ4 LSpM과 트리 기반 결과 저장과 같은 메모리 효율적인 데이터 구조가 성능과 확장성에 얼마나 기여하는가?
• RQ5 다단계 파artitioner 및 병렬 실행 전략은 GPU 가속 HPC 클러스터에서 강한 스케일링과 약한 스케일링을 어떻게 가능하게 하는가?

주요 결과

• GSmart는 단일 CPU+GPU 노드에서 기존 SPARQL 엔진 대비 최대 실행 시간 성능 향상 46,920배를 달성했다.
• Tianhe-1A 초고성능 컴퓨터에서 2에서 16개의 CPU+GPU 노드로 증가할 때 GSmart는 6.90배의 강한 스케일링 성능 향상을 보였다.
• 행렬 연산을 사용한 그룹화된 인cidient 엣지 평가 방식은 중간 결과 수를 크게 줄이고 쿼리 처리 속도를 향상시켰다.
• LSpM 저장 형식은 메모리 사용량을 감소시키고 데이터 접근 패턴을 향상시켜 대규모 RDF 데이터셋에서 높은 성능을 기여했다.
• 실행 엔진 내 사전 잘라내기 및 트리 잘라내기 기법은 노드 간 통신을 줄여 병렬 처리 효율성을 향상시켰다.
• 다단계 데이터 파artitioner는 이종 노드에 쿼리 워크로드를 효과적으로 매핑하여 확장 가능하고 로드 밸런싱된 실행을 가능하게 했다.