[논문 리뷰] Apache VXQuery: A Scalable XQuery Implementation

E. Preston Carman, Till Westmann외 3명|arXiv (Cornell University)|2015. 04. 01.

Cloud Computing and Resource Management참고 문헌 16인용 수 9

한 줄 요약

Apache VXQuery는 Hyracks와 Algebricks 기반으로 구축된 확장성 있고 오픈소스인 XQuery 프로세서로, 대규모 XML 데이터셋에서 XQuery 워크로드를 효율적으로 병렬 실행할 수 있도록 한다. 단일 노드 환경에서는 Saxon보다 최대 3배 빠른 성능을 달성하고, 클러스터 배포 환경에서는 Apache MRQL보다 2.5배 더 빠르며, 경로 표현식과 조인에 대해 데이터플로우 기반 병렬 처리와 고도의 최적화 규칙을 활용한다.

ABSTRACT

The wide use of XML for document management and data exchange has created the need to query large repositories of XML data. To efficiently query such large data collections and take advantage of parallelism, we have implemented Apache VXQuery, an open-source scalable XQuery processor. The system builds upon two other open-source frameworks -- Hyracks, a parallel execution engine, and Algebricks, a language agnostic compiler toolbox. Apache VXQuery extends these two frameworks and provides an implementation of the XQuery specifics (data model, data-model dependent functions and optimizations, and a parser). We describe the architecture of Apache VXQuery, its integration with Hyracks and Algebricks, and the XQuery optimization rules applied to the query plan to improve path expression efficiency and to enable query parallelism. An experimental evaluation using a real 500GB dataset with various selection, aggregation and join XML queries shows that Apache VXQuery performs well both in terms of scale-up and speed-up. Our experiments show that it is about 3x faster than Saxon (an open-source and commercial XQuery processor) on a 4-core, single node implementation, and around 2.5x faster than Apache MRQL (a MapReduce-based parallel query processor) on an eight (4-core) node cluster.

연구 동기 및 목표

• 대규모 XML 저장소를 효율적으로 쿼리할 수 있는 확장성 있고 병렬 처리가 가능한 XQuery 프로세서의 부족을 해결하기 위해.
• 현대적인 데이터플로우 실행 엔진을 활용하여 병렬 처리와 최적화를 지원하는 고성능 XQuery 프로세서를 구축하기 위해.
• 기존 프레임워크인 Hyracks와 Algebricks에 XQuery 전용 데이터 모델, 파서, 최적화 규칙을 추가하기 위해.
• 실제 대규모 XML 워크로드(최대 500GB)에서 VXQuery의 성능을 속도 향상과 확장성 측면에서 평가하기 위해.
• 데이터플로우 기반 접근 방식이 Apache MRQL와 같은 MapReduce 기반 XQuery 프로세서보다 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 일반 목적의 데이터플로우 실행 엔진인 Hyracks를 기반으로 하여 XQuery 전용 실행 계획을 지원하는 VXQuery를 구축하였다.
• 언어에 종속되지 않는 컴파일러 도구상자인 Algebricks를 통합하여 재사용 가능하고 데이터 모델에 종속되지 않는 쿼리 최적화를 가능하게 하였다.
• 경로 표현식 최적화와 효율적인 병렬 실행을 가능하게 하기 위해 Algebricks에 XQuery 전용 리라이팅 규칙를 추가하였다.
• Hyracks 런타임 환경 내에서 XQuery 1.0 의미 체계를 지원하기 위해 고유의 XQuery 파서와 XML 데이터 모델을 구현하였다.
• MapReduce 기반 접근 방식 대비 I/O를 줄이고 조인 성능을 향상시키기 위해 VXQuery에서 하이브리드 해시 조인 알고리즘을 사용하였다.
• 사용자가 병렬 처리의 세부 사항을 숨기고 표준 XQuery 문법을 사용할 수 있도록 하되, 자동 병렬화가 가능하도록 시스템을 설계하였다.

실험 결과

연구 질문

• RQ1 일반 목적의 데이터플로우 엔진인 Hyracks를 확장하여 확장성 있는 XQuery 프로세서를 효율적으로 구축할 수 있는가?
• RQ2 단일 노드 환경에서 VXQuery의 성능은 Saxon과 같은 단일 노드 XQuery 프로세서 대비 속도 향상과 확장성 측면에서 어떻게 비교되는가?
• RQ3 대규모 XML 워크로드에서 VXQuery는 Apache MRQL와 같은 MapReduce 기반 XQuery 시스템에 비해 어느 정도 뛰어난 성능을 보이는가?
• RQ4 XQuery 전용 최적화 규칙은 경로 표현식의 효율성 향상과 병렬 실행 가능성을 높이는 데 얼마나 효과적인가?
• RQ5 VXQuery는 대규모 XML 데이터셋(예: 500GB 기상 데이터 레포지토리)에 대해 다수의 노드에서 효과적으로 확장될 수 있는가?

주요 결과

• 4코어 단일 노드에서 VXQuery는 주요 오픈소스 XQuery 프로세서인 SaxonHE 대비 약 3배 빠른 성능을 달성하였다.
• 노드당 4코어인 8노드 클러스터에서 VXQuery는 동일한 XML 쿼리에 대해 Apache MRQL 대비 약 2.5배 더 빠른 성능을 보였다.
• VXQuery는 강력한 스케일업 성능을 보였으며, 노드당 7.2GB의 데이터를 처리할 때도 노드 수를 늘여도 쿼리 시간이 안정적으로 유지되어 효율적인 로드 분배가 이루어짐을 시사하였다.
• 노드당 66GB의 데이터(총 528GB)를 처리할 때도 VXQuery는 높은 성능을 유지하여 매우 큰 XML 데이터셋에서의 수평 확장성이 효과적임을 입증하였다.
• Apache MRQL 대비 성능 우월성은 약 2배 빠른 XML 파싱과 하이브리드 해시 조인 알고리즘을 통한 더 효율적인 조인 처리에 기인한다.
• 프로파일링 결과 VXQuery는 대규모 데이터셋에서 XML 파싱 시 CPU에 의해 제한됨을 확인하였으며, 이는 향후 개선을 위한 핵심 영역로 파싱 최적화가 중요함을 시사한다.