[논문 리뷰] Partout: A Distributed Engine for Efficient RDF Processing

Luis Galárraga, Katja Hose외 1명|arXiv (Cornell University)|2012. 12. 21.

Semantic Web and Ontologies참고 문헌 36인용 수 41

한 줄 요약

Partout는 대규모 SPARQL 워크로드를 위한 효율적인 확장성을 확보하기 위해 대표적인 쿼리 워크로드를 기반으로 RDF 데이터를 클러스터에 분할하고 할당하는 분산 RDF 처리 엔진이다. 자주 조인되는 삼중항을 함께 위치시켜 교차 노드 통신을 최소화함으로써, 복제를 사용하지 않더라도 중심화된 시스템과 기존 분산 시스템에 비해 뛰어난 처리량과 확장성을 달성한다.

ABSTRACT

The increasing interest in Semantic Web technologies has led not only to a rapid growth of semantic data on the Web but also to an increasing number of backend applications with already more than a trillion triples in some cases. Confronted with such huge amounts of data and the future growth, existing state-of-the-art systems for storing RDF and processing SPARQL queries are no longer sufficient. In this paper, we introduce Partout, a distributed engine for efficient RDF processing in a cluster of machines. We propose an effective approach for fragmenting RDF data sets based on a query log, allocating the fragments to nodes in a cluster, and finding the optimal configuration. Partout can efficiently handle updates and its query optimizer produces efficient query execution plans for ad-hoc SPARQL queries. Our experiments show the superiority of our approach to state-of-the-art approaches for partitioning and distributed SPARQL query processing.

연구 동기 및 목표

• growing 데이터 볼륨에 따라 중심화된 RDF 스토어의 확장성 한계를 해결하기 위해, 특히 트리리언 트리플을 초월하는 데이터 세트에 대응하기 위해.
• 지능적인 데이터 분할 및 할당을 통해 분산 SPARQL 쿼리 처리 시 노드 간 통신을 최소화하여 성능을 향상시키기 위해.
• 클러스터 환경에서 분산 RDF 처리에 특화된 비용 기반 쿼리 최적화기 및 실행 모델을 설계하기 위해.
• 데이터 복제에 의존하지 않고도 분산 환경에서 효율적인 업데이트 처리를 가능하게 하기 위해.

제안 방법

• 자주 함께 사용되는 쿼리 패턴을 그룹화하여 교차 노드 조인을 최소화하는 쿼리 워크로드 인식 기반 데이터 분할 알고리즘을 제안한다.
• 액세스 패턴을 모델링하고 클러스터 노드에 분할을 할당하기 위해 글로벌 분할 쿼리 그래프를 사용한다.
• 선택도, 조인 크기, 통신 비용을 추정하는 비용 모델을 적용하여 분산 쿼리 실행을 위한 쿼리 계획 생성을 안내한다.
• 파이프라인 기반 최적화를 통해 중간 결과 전송을 최소화하는 히우리스틱 기반 쿼리 최적화기를 활용한다.
• 저장소 오버헤드를 줄이고 업데이트 효율성을 향상시키기 위해 복제를 사용하지 않는 스토리지 모델을 구현한다.
• 각 분할을 단일 호스트에 할당함으로써 동적 쿼리 처리를 지원하고 중복 관리의 복잡성을 피한다.

실험 결과

연구 질문

• RQ1 SPARQL 쿼리에 대해 교차 노드 통신을 최소화하기 위해 RDF 데이터를 클러스터에 어떻게 분할하고 할당할 수 있는가?
• RQ2 대표적인 쿼리 워크로드를 고려할 때, 데이터 분할과 호스트 할당의 최적 구성은 무엇인가?
• RQ3 데이터 복제 없이도 분산 RDF 시스템이 중심화된 시스템이나 기존 분산 시스템보다 뛰어난 처리량과 확장성을 달성할 수 있는가?
• RQ4 최소한의 통신으로 제한된 분산 환경에서의 쿼리 최적화는 전통적인 피드레터럴 또는 MapReduce 기반 접근 방식과 비교해 어떻게 다른가?
• RQ5 분산 RDF 처리에서 쿼리 인식 기반 분할과 복제 간의 성능 트레이드오프는 무엇인가?

주요 결과

• Partout는 교차 노드 통신을 줄임으로써 중심화된 시스템과 기존 분산 접근 방식에 비해 처리량에서 뛰어나며, 특히 고 동시성 환경에서 두각을 나타낸다.
• 각 쿼리 평가에 관련된 호스트만 참여하기 때문에 동시 쿼리 수가 증가함에 따라 효율적으로 확장된다.
• 복제를 피름으로써 저장소 오버헤드를 줄이고 업데이트 효율성을 향상시켰으며, 복제 시스템에 비해 업데이트 처리가 더 복잡한 점을 고려할 때 유리하다.
• 비용 기반 분산 모델을 적용한 쿼리 최적화기는 파이프라인 기반 최적화를 통해 효율적인 실행 계획을 생성하고 중간 결과 전송을 최소화한다.
• BTC 데이터셋의 경우, Partout는 세 대의 호스트로도 동시 쿼리를 효과적으로 처리했지만, 동일한 부하에서 다른 접근 방식은 타임아웃이 발생했다.
• 중간 결과가 큰 쿼리에 대해 특히 효과적이며, 액세스 패턴에 기반해 분할을 함께 위치시킴으로써 이러한 결과를 로컬에서 유지할 수 있다.