[논문 리뷰] SPARQL query processing with Apache Spark

Hubert Naacke, Olivier Curé외 1명|arXiv (Cornell University)|2016. 04. 29.

Graph Theory and Algorithms참고 문헌 27인용 수 13

한 줄 요약

이 논문은 Apache Spark 기반의 다섯 가지 SPARQL 쿼리 처리 전략을 제안하고 평가하며, 데이터 전송을 최소화하기 위해 분할 조인과 브로드캐스트 조인을 조합한 새로운 하이브리드 접근 방식(SPARQL Hybrid)을 도입한다. 데이터 크기와 선택도에 기반해 조인 전략을 지능적으로 선택하여, 특히 스노우플레이크 및 체인 패턴과 같은 복잡한 쿼리 형태에서 기존 최고 수준의 시스템 대비 최대 2.4배 빠른 쿼리 실행 성능을 달성한다.

ABSTRACT

The number of linked data sources and the size of the linked open data graph keep growing every day. As a consequence, semantic RDF services are more and more confronted to various "big data" problems. Query processing is one of them and needs to be efficiently addressed with executions over scalable, highly available and fault tolerant frameworks. Data management systems requiring these properties are rarely built from scratch but are rather designed on top of an existing cluster computing engine. In this work, we consider the processing of SPARQL queries with Apache Spark. We propose and compare five different query processing approaches based on different join execution models and Spark components. A detailed experimentation, on real-world and synthetic data sets, emphasizes that two approaches tailored for the RDF data model outperform the other ones on all major query shapes, i.e., star, snowflake, chain and hybrid.

연구 동기 및 목표

• 대규모 RDF 데이터에서 분산 환경에서의 SPARQL 쿼리 처리의 확장성과 성능 도전 과제를 해결하기 위해.
• 조인 실행 모델과 데이터 분할에 중점을 두고, RDF 데이터에 대한 다양한 Spark 기반 쿼리 처리 전략을 평가하고 비교하기 위해.
• 데이터 전송을 최소화하고 Spark의 메모리 내 기능을 활용하여 성능을 향상시키는 하이브리드 쿼리 실행 전략을 설계하기 위해.
• 실제 및 합성 데이터 세트를 사용하여 S2RDF 및 최고 수준의 분산 SPARQL 엔진과 같은 기존 시스템과의 성능을 검증하기 위해.
• 사전 처리 오버헤드를 줄이면서도 높은 쿼리 효율성을 유지하여 실세계 구현에 실용적인 시스템을 만들기 위해.

제안 방법

• 데이터 전송과 조인 전략 선택에 기반한 분산 SPARQL 쿼리 처리를 위한 공식적인 비용 모델을 제안한다.
• 다섯 가지의 구체적인 Spark 기반 SPARQL 쿼리 처리 전략을 구현한다: SPARQL SQL, SPARQL RDD, SPARQL DF, SPARQL Hybrid RDD, SPARQL Hybrid DF.
• Spark의 RDD 및 Dataset API를 사용하여 RDF 데이터를 표현하고 쿼리 계획을 실행하며, I/O 및 전송 비용을 줄이기 위해 데이터 압축(DF)을 적용한다.
• 소규모 관계에 대해 브로드캐스트 조인, 대규모 관계에 대해 분할 조인을 동적으로 선택하는 하이브리드 조인 전략을 적용하여 데이터 이동을 최소화한다.
• 추정된 결과 크기와 선택도에 기반한 데이터 분할 및 선택적 브로드캐스트를 적용하여 조인 실행을 최적화한다.
• Spark SQL과 통합되지만, Catalyst 최적화기에서 완전히 활용되지 않는 저수준 조인 최적화 옵션을 노출시켜 기능을 확장한다.

실험 결과

연구 질문

• RQ1 다양한 Spark 기반 SPARQL 쿼리 처리 전략은 실행 시간과 데이터 전송 오버헤드 측면에서 어떻게 비교되는가?
• RQ2 브로드캐스트 조인과 분할 조인을 조합한 하이브리드 조인 전략은 다양한 SPARQL 쿼리 패턴에서 기존 접근 방식을 초월할 수 있는가?
• RQ3 데이터 압축(DF 표현 방식)이 메모리 제약이 있는 Spark 클러스터에서 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 하이브리드 접근 방식은 S2RDF와 같은 최고 수준의 Spark 기반 SPARQL 엔진과 비교해 쿼리 속도와 데이터 전송 감소 측면에서 어떻게 성능을 냈는가?
• RQ5 제안된 접근 방식은 S2RDF의 VP 분할 모델과 효과적으로 조합되어 성능 향상을 더욱 높일 수 있는가?

주요 결과

• SPARQL Hybrid 접근 방식은 모든 주요 쿼리 형태에서 기존 최고 수준의 시스템 대비 최대 2.4배 빠른 쿼리 실행 시간을 달성한다.
• 기본 전략 대비 스타 쿼리에서 483MB, 스노우플레이크 쿼리에서 284MB, 복잡한 쿼리에서 1.7GB의 데이터 전송을 절감한다.
• 하이브리드 전략은 데이터 액세스 횟수를 다섯 번(SPARRQL DF)에서 두 번으로 줄여 효율성을 크게 향상시킨다.
• SPARQL Hybrid DF는 압축되지 않은 데이터에서 SPARQL DF 대비 최대 6.2배의 속도 향상을 달성한다. 주로 데이터 전송이 크게 감소했기 때문이다.
• 이 접근 방식은 S2RDF의 VP 분할 모델과 호환되며, 성능을 1.72배에서 2.16배까지 향상시켜 강력한 상호보완성을 입증한다.
• 더 적은 하드웨어로도 S2RDF보다 더 빠른 응답 시간(예: 쿼리 S1에서 3.6초 대비 8.8초)을 제공하여 효율성 향상을 명확히 보여준다.