[논문 리뷰] Strider: A Hybrid Adaptive Distributed RDF Stream Processing Engine

Xiangnan Ren, Olivier Curé|arXiv (Cornell University)|2017. 05. 16.

Advanced Database Systems and Queries참고 문헌 19인용 수 4

한 줄 요약

Strider는 Apache Spark와 Kafka 기반의 하이브리드 적응형 분산 RDF 스트림 처리 엔진으로, 데이터 스트림 특성에 따라 런타임에서 SPARQL 쿼리 계획을 동적으로 최적화한다. 9노드 클러스터에서 최대 초당 310만 개의 RDF 트리플을 처리하며, 단일 머신 환경에서 최신 기술 대비 60배 성능 향상을 보였다.

ABSTRACT

Real-time processing of data streams emanating from sensors is becoming a common task in Internet of Things scenarios. The key implementation goal consists in efficiently handling massive incoming data streams and supporting advanced data analytics services like anomaly detection. In an on-going, industrial project, we found out that a 24/7 available stream processing engine usually faces dynamically changing data and workload characteristics. These changes impact the engine's performance and reliability. We propose Strider, a hybrid adaptive distributed RDF Stream Processing engine that optimizes logical query plan according to the state of data streams. Strider has been designed to guarantee important industrial properties such as scalability, high availability, fault-tolerant, high throughput and acceptable latency. These guarantees are obtained by designing the engine's architecture with state-of-the-art Apache components such as Spark and Kafka. We highlight the efficiency (e.g., on a single machine machine, up to 60x gain on throughput compared to state-of-the-art systems, a throughput of 3.1 million triples/second on a 9 machines cluster, a major breakthrough in this system's category) of Strider on real-world and synthetic data sets.

연구 동기 및 목표

• 동적으로 변화하는 데이터 및 워크로드 조건 하에서 실시간 RDF 스트림 처리에서 높은 처리량과 낮은 지연을 유지를 위한 과제 해결.
• 산업용 IoT 워크로드를 고려한 확장성, 고가용성, 장애 내성, 적응성 기능을 지원하는 프로덕션 수준의 RSP 엔진 설계.
• 기존 분산 RSP 시스템에서의 정적, 컴파일 타임 쿼리 계획의 한계를 극복하기 위해 스트림 볼륨과 쿼리 특성에 기반한 런타임 적응 전략 도입.
• 실세계의 센서 네트워크에서 유량되는 대규모, 스키마 없는 RDF 스트림 데이터에 대해 효율적인 지속적 SPARQL 처리 지원.
• RSP 생태계의 격차를 메우기 위해 성능 및 신뢰성 향상을 위한 적응형 최적화 전략을 포함한 마이크로배치 처리 지원.

제안 방법

• 분산 센서에서의 고처리량, 장애 내성 있는 메시지 스트리밍 및 데이터 수집을 위해 Apache Kafka 활용.
• 시간 제한된 데이터 윈도우 기반의 지속적 SPARQL 쿼리에 대한 근접 실시간 평가를 위해 Spark Streaming의 마이크로배치 처리 기반 구현.
• 도착하는 데이터 볼륨에 따라 컴파일 타임 규칙 기반 최적화와 런타임 비용 기반 최적화를 전환하는 하이브리드 적응형 쿼리 처리 전략 도입.
• 이전 윈도우의 종료 시점 또는 현재 윈도우 도중에 스트림 특성의 변화에 대응하기 위해 쿼리 계획을 동적으로 재최적화.
• 쿼리 실행 중 자동 전환을 가능하게 하기 위해 최적화기에서 트리거 기반 메커니즘 도입으로 수동 간섭 없이 전략 전환 지원.
• 특히 복잡한 조인 패턴이 포함된 쿼리의 경우, 구조적으로 불안정한 RDF 스트림에서의 성능 저하를 완화하기 위해 논리 계획 재구성 적용.

실험 결과

연구 질문

• RQ1 동적으로 변화하는 데이터 스트림 워크로드 조건 하에서 분산 RDF 스트림 처리 엔진이 어떻게 높은 처리량과 낮은 지연을 유지할 수 있는가?
• RQ2 실시간 RDF 스트림 처리 시스템에서 성능이나 신뢰성에 손상을 주지 않고 쿼리 계획의 효과적인 적응을 가능하게 하는 메커니즘은 무엇인가?
• RQ3 규칙 기반 및 비용 기반 최적화를 융합한 하이브리드 적응형 쿼리 처리 전략이 대규모 RDF 스트림 처리에서 성능 향상에 얼마나 기여하는가?
• RQ4 지속적 SPARQL 쿼리 처리에서 마이크로배치 처리와 레코드 단위 처리 간의 처리량 및 지연 측면에서의 성능 비교는 어떠한가?
• RQ5 기존 분산 RSP 시스템의 성능 저하 요인은 무엇이며, Spark와 Kafka 통합과 같은 아키텍처 선택을 통해 어떻게 완화할 수 있는가?

주요 결과

• Strider는 9대 머신 클러스터에서 최대 초당 310만 개의 RDF 트리플 처리를 달성하여 분산 RSP 분야에서의 주요 성능 돌파구를 이룩했다.
• 단일 머신 환경에서 Strider는 최신 기술 대비 최대 60배의 처리량 향상을 보였으며, 자원 제약 조건 하에서도 효율성을 입증했다.
• 적응형 쿼리 최적화 전략은 복잡한 조인 패턴을 포함한 구조적으로 불안정한 RDF 스트림(예: 쿼리 Q9)을 효과적으로 처리하여 급격한 성능 저하를 방지했다.
• 실제 및 합성 데이터 세트 모두에서 높은 신뢰성을 보이며 다양한 스트림 특성 조건에서도 일관된 성능 유지.
• 마이크로배치 아키텍처는 레코드 단위 처리 시스템 대비 더 높은 장애 내성과 시스템 적응성을 제공했으며, 지연이 약간 증가하는 점을 감안해도 유리하다.
• 제한점으로는 데이터 준비를 위한 0.8~1초의 초기화 오버헤드와 조인 연산자 수 증가에 따른 처리량 감소가 있으며, 클러스터 확장 또는 강화된 드라이버 설정을 통한 최적화 가능성이 제기된다.