[논문 리뷰] On measuring performances of C-SPARQL and CQELS

Xiangnan Ren, Houda Khrouf외 3명|arXiv (Cornell University)|2016. 11. 24.

Semantic Web and Ontologies참고 문헌 6인용 수 7

한 줄 요약

이 논문은 스트림 레이트, 윈도우 크기, 스트림 수, 데이터 크기 등 다양한 워크로드 조건에서 두 주요 RDF 스트림 처리 엔진인 C-SPARQL과 CQELS의 성능을 평가한다. 결과적으로 C-SPARQL는 시간 기반 메커니즘 덕분에 복잡한 다중 스트림 쿼리에서 뛰어난 성능을 보이며, CQELS는 효율적인 사전 인코딩과 데이터 기반 실행 덕분에 정적 데이터 처리에서 C-SPARQL를 능가한다. 일부 쿼리에서는 실행 시간이 최대 27배 차이가 난다.

ABSTRACT

To cope with the massive growth of semantic data streams, several RDF Stream Processing (RSP) engines have been implemented. The efficiency of their throughput, latency and memory consumption can be evaluated using available benchmarks such as LSBench and City- Bench. Nevertheless, these benchmarks lack an in-depth performance evaluation as some measurement metrics have not been considered. The main goal of this paper is to analyze the performance of two popular RSP engines, namely C-SPARQL and CQELS, when varying a set of performance metrics. More precisely, we evaluate the impact of stream rate, number of streams and window size on execution time as well as on memory consumption.

연구 동기 및 목표

• C-SPARQL와 CQELS라는 두 주요 RDF 스트림 처리(RSP) 엔진에 대한 종합적인 성능 평가를 수행하기 위해.
• 스트림 레이트, 윈도우 크기, 스트림 수, 삼중항 수, 정적 데이터 크기와 같은 핵심 시스템 파라미터가 실행 시간과 메모리 소비에 미치는 영향을 규명하기 위해.
• 실행 메커니즘의 차이(시간 기반 대비 데이터 기반)를 고려하고 결과의 정확성을 확보함으로써 공정하고 깊이 있는 비교를 제공하기 위해.
• 특히 쿼리 복잡도와 데이터 특성 측면에서 실제 구현 환경에서 각 엔진의 강점과 한계를 명확히 하기 위해.

제안 방법

• 재현 가능하고 정확한 평가를 위해 스트림 크기, 내용, 구조를 제어할 수 있는 맞춤형 데이터 생성기를 설계하였다.
• 다양한 워크로드와 쿼리 패턴을 테스트하기 위해 복잡도가 다른 다섯 개의 SPARQL 쿼리를 구현하였다.
• 여러 구성에서 제어된 조건 하에 트리플당 실행 시간과 메모리 소비를 측정하였다.
• 공식 측정 전에 엔진 동작을 안정화시키기 위해 웜업 단계를 적용하였다.
• 다른 실행 전략에도 불구하고 공정한 비교를 가능하게 하기 위해 정규화된 실행 시간 지표($t = T/N$)를 적용하였다.
• 동일한 쿼리와 데이터 조건 하에서 C-SPARQL(시간 기반)과 CQELS(데이터 기반) 엔진에 대해 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 스트림 레이트는 C-SPARQL와 CQELS의 실행 시간과 메모리 소비에 어떤 영향을 미치는가?
• RQ2 윈도우 크기는 시간 기반(C-SPARQL)과 데이터 기반(CQELS) RSP 엔진의 쿼리 성능에 어떤 영향을 미치는가?
• RQ3 동시 스트림 수는 두 엔진의 성능과 메모리 사용에 어떤 영향을 미치는가?
• RQ4 정적 데이터 크기와 데이터 볼륨은 확장성과 실행 효율성에 어떤 영향을 미치는가?
• RQ5 어떤 쿼리 시나리오에서 CQELS가 C-SPARQL를 능가하며, 반대로 어떤 경우에 C-SPARQL가 CQELS를 능가하는가?

주요 결과

• C-SPARQL는 쿼리 $Q_1$에서 트리플당 평균 실행 시간 0.018 ms를 기록하여, CQELS의 0.169 ms보다 뚜렷이 빠르게 성능을 내었다.
• 복잡한 쿼리인 $Q_3$의 경우 C-SPARQL는 트리플당 0.040 ms로 안정된 성능을 유지하지만, CQELS는 전체 윈도우를 반복적으로 매칭 검사하기 때문에 성능이 저하된다.
• 50MB의 정적 데이터가 있는 쿼리 $Q_6$에서는 CQELS가 C-SPARQL보다 거의 27배 빠르게 작동하여 트리플당 0.032 ms를 기록한 반면, C-SPARQL는 0.952 ms를 기록하였다.
• CQELS는 스트림 처리 중에 즉각적인 실행과 비동기 스트림 처리 덕분에 동적 스트리밍 환경에서 높은 메모리 소비를 보이며, 특히 다중 스트림을 처리할 경우 두드러진다.
• C-SPARQL는 시간 기반의 배치 기반 실행 덕분에 다중 스트림 환경에서 정확하고 완전한 출력을 보장하지만, CQELS는 이러한 환경에서 출력 불일치 문제가 발생한다.
• C-SPARQL는 스트림 레이트가 임계값을 초과할 경우 성능이 저하되고 신뢰성이 떨어지므로, 실사용 환경에서는 레이트 제어가 필요하다는 점을 시사한다.