[논문 리뷰] On the Evaluation of RDF Distribution Algorithms Implemented over Apache Spark

Olivier Curé, Hubert Naacke외 2명|arXiv (Cornell University)|2015. 07. 08.

Advanced Database Systems and Queries참고 문헌 23인용 수 8

한 줄 요약

이 논문은 Apache Spark에 구현된 다섯 가지 RDF 분포 알고리즘—두 가지 해시 기반, 두 가지 그래프 분할, 한 가지 하이브리드—을 평가하여 데이터 준비 비용, 로드 밸런싱, 복제 및 쿼리 성능을 분석한다. 결과적으로 해시 기반 방법은 낮은 준비 과정 비용과 뛰어난 확장성을 보이며, 하이브리드 접근 방식은 최소한의 복제 비용으로 거의 최적에 가까운 쿼리 성능을 달성하여 알려진 워크로드가 있는 데이터 웨어하우스에 이상적이다.

ABSTRACT

Querying very large RDF data sets in an efficient manner requires a sophisticated distribution strategy. Several innovative solutions have recently been proposed for optimizing data distribution with predefined query workloads. This paper presents an in-depth analysis and experimental comparison of five representative and complementary distribution approaches. For achieving fair experimental results, we are using Apache Spark as a common parallel computing framework by rewriting the concerned algorithms using the Spark API. Spark provides guarantees in terms of fault tolerance, high availability and scalability which are essential in such systems. Our different implementations aim to highlight the fundamental implementation-independent characteristics of each approach in terms of data preparation, load balancing, data replication and to some extent to query answering cost and performance. The presented measures are obtained by testing each system on one synthetic and one real-world data set over query workloads with differing characteristics and different partitioning constraints.

연구 동기 및 목표

• 통합적이고 확장 가능한 프레임워크에서 주요 RDF 분포 전략을 평가하고 비교하기 위해.
• 다양한 분포 기법 간의 데이터 준비 비용, 로드 밸런싱, 복제 및 쿼리 성능에 미치는 영향을 평가하기 위해.
• Apache Spark가 분산 RDF 처리를 위한 고성능 플랫폼으로서의 타당성을 입증하기 위해.
• 다양한 쿼리 워크로드를 가진 대규모 RDF 데이터셋에 최적의 전략을 식별하기 위해.
• 실제 및 합성 워크로드에서 순수 해싱, 그래프 분할, 하이브리드 접근 방식 간의 상호 교환 관계를 평가하기 위해.

제안 방법

• Apache Spark의 API를 사용하여 다섯 가지 RDF 분포 알고리즘—두 가지 해시 기반, 두 가지 그래프 분할(nHopDB, WARP), 한 가지 하이브리드—을 재구현하였다.
• 장애 내성과 확장성의 이점을 활용하여 Hadoop MapReduce 대비 성능을 향상시키기 위해 Spark의 메모리 기반 처리를 활용하였다.
• 한 개의 합성 RDF 데이터셋과 한 개의 실제 워크로드 RDF 데이터셋을 사용하여, 다양한 분할 제약 조건을 가진 여섯 가지 다양한 SPARQL 쿼리를 평가하였다.
• 시스템의 동작을 비교하기 위해 데이터 준비 시간, 로드 밸런싱, 복제 비율 및 쿼리 실행 시간을 측정하였다.
• 그래프 분할 접근 방식에서 RSG(루트 서브그래프) 그룹화에 K-means 클러스터링을 적용하였으며, 고차원 벡터 처리에서의 한계가 있었다.
• 스칼라에서 Spark의 네이티브 쿼리 리라이팅 및 실행 기능을 활용하여 종단 간 처리 파이프라인을 간소화하였다.

실험 결과

연구 질문

• RQ1 Apache Spark에 구현된 다양한 RDF 분포 전략이 데이터 준비 비용, 로드 밸런싱 및 복제 측면에서 어떻게 성능을 내는가?
• RQ2 해시 기반 접근 방식과 그래프 분할 접근 방식 간의 쿼리 성능과 시스템 오버헤드 사이의 상호 교환 관계는 어떠한가?
• RQ3 해시와 n-호프 복제를 조합한 하이브리드 분포 전략이 최소한의 준비 비용으로 더 높은 성능을 달성할 수 있는가?
• RQ4 Apache Spark는 대규모 RDF 데이터 분포 및 쿼리 처리에서 Hadoop MapReduce와 비교하여 어떻게 성능을 내는가?
• RQ5 쿼리 특성(예: 스타 패턴, 프로퍼티 체인)은 분산 RDF 시스템의 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• 해시 기반 분포는 복잡한 사전 처리 없이 삼중항 로딩만으로도 가장 낮은 데이터 준비 비용을 기록하였다.
• 하이브리드 접근 방식은 n-호프 복제의 이점과 최소한의 준비 과정 오버헤드를 결합하여 고비용의 그래프 분할이 필요 없도록 하였다.
• 하이브리드 솔루션의 복제 오버헤드는 순수 WARP 대비 미미했지만, 복잡한 패턴에 대한 쿼리 성능을 크게 향상시켰다.
• Apache Spark는 강력한 확장성을 보이며, 클러스터 노드를 추가하여 수십억 개의 삼중항을 효율적으로 처리했으며, 일부 작업에서 Hadoop MapReduce 대비 최대 100배 빠른 성능을 보였다.
• nHopDB 및 WARP와 같은 그래프 분할 접근 방식은 고차원 벡터 처리 및 Metis에 의존하는 데서 기인한 확장성 한계를 겪었으며, 5억 개 삼중항을 초과하면 실패하였다.
• 쿼리 패턴 유형에 따라 성능이 크게 달라졌다: O-O 조인은 높은 파artition 간 통신 비용을 유발했고, S-O 및 S-S 조인은 해시 기반 기법에서 더 효율적이었다.