[논문 리뷰] Distributed Publish/Subscribe Query Processing on the Spatio-Textual Data Stream

Zhida Chen, Gao Cong외 3명|arXiv (Cornell University)|2016. 12. 08.

Peer-to-Peer Network Technologies참고 문헌 19인용 수 3

한 줄 요약

이 논문은 실시간 스파티오-텍스트 데이터 스트림 처리를 위한 분산 퍼블리시/서브스크립션 시스템인 PS² Stream을 제안한다. 이 시스템은 공간적 특성과 텍스트적 특성을 동시에 고려하는 하이브리드 워크로드 파artition 전략을 사용하여 총 워크로드를 최소화하고 워커의 로드를 균형 있게 유지한다. 동적 로드 조정을 통해 이 시스템은 이전 시스템 대비 26% 높은 처리량을 달성하면서도 이주 비용을 낮게 유지하며, 실제 트위터 데이터를 대상으로 한 실험에서 지연 시간과 확장성 면에서 베이스라인을 능가한다.

ABSTRACT

Huge amount of data with both space and text information, e.g., geo-tagged tweets, is flooding on the Internet. Such spatio-textual data stream contains valuable information for millions of users with various interests on different keywords and locations. Publish/subscribe systems enable efficient and effective information distribution by allowing users to register continuous queries with both spatial and textual constraints. However, the explosive growth of data scale and user base has posed challenges to the existing centralized publish/subscribe systems for spatio-textual data streams. In this paper, we propose our distributed publish/subscribe system, called PS2Stream, which digests a massive spatio-textual data stream and directs the stream to target users with registered interests. Compared with existing systems, PS2Stream achieves a better workload distribution in terms of both minimizing the total amount of workload and balancing the load of workers. To achieve this, we propose a new workload distribution algorithm considering both space and text properties of the data. Additionally, PS2Stream supports dynamic load adjustments to adapt to the change of the workload, which makes PS2Stream adaptive. Extensive empirical evaluation, on commercial cloud computing platform with real data, validates the superiority of our system design and advantages of our techniques on system performance improvement.

연구 동기 및 목표

• growing 스파티오-텍스트 데이터 및 사용자 워크로드에 따라 중심화된 퍼블리시/서브스크립션 시스템의 확장성 한계를 해결하기 위해.
• 데이터와 쿼리 워크로드를 워커 간에 효율적으로 파artition하여 총 처리 부하를 최소화하는 분산 시스템을 설계하기 위해.
• 실시간으로 변화하는 워크로드에 대응하여 로드 밸런싱과 낮은 이주 비용을 달성하기 위해.
• 고처리량 및 저지연 요구 사항을 가진 실제 스파티오-텍스트 데이터에서의 시스템 성능 평가를 위해.

제안 방법

• 공간 영역과 텍스트 키워드 패턴을 동시에 고려하여 데이터 및 쿼리 스트림을 효과적으로 분산하는 하이브리드 워크로드 파artition 알고리즘을 제안한다.
• 공간적 및 텍스트적 상관관계를 분석함으로써 총 워크로드를 최소화하고 워커 활용도를 균형 있게 유지하는 워크로드 분포 모델을 도입한다.
• 최소한의 데이터 이주와 낮은 지연 영향을 갖는 로컬 및 글로벌 동적 로드 조정 메커니즘을 설계한다.
• 각 워커가 공간-텍스트 셀을 관리하는 셀 기반 데이터 파artition 전략을 구현하여 효율적인 워크로드 추적 및 이주를 가능하게 한다.
• 시간 태그가 포함된 실제 트위터 데이터 스트림을 사용하여 실험에서 워크로드를 스케일링하고, 시간에 따라 변화하는 쿼리 분포를 시뮬레이션한다.
• Amazon EC2에서 처리량, 지연 시간, 이주 비용, 이주 시간 등의 메트릭을 사용하여 시스템 성능을 평가한다.

실험 결과

연구 질문

• RQ1 스파티오-텍스트 데이터와 서브스크립션 쿼리를 동시에 처리할 때, 분산 워커 간에 워크로드를 최적으로 파artition하는 방법은 무엇인가?
• RQ2 분산 퍼블리시/서브스크립션 시스템에서 총 시스템 워크로드를 최소화하면서도 로드 밸런싱을 유지하는 데 가장 효과적인 파artition 전략은 무엇인가?
• RQ3 동적 로드 조정은 어떻게 수행할 수 있으며, 이주 비용은 낮추고 처리 지연에 미치는 영향은 최소화할 수 있는가?
• RQ4 변동하는 워크로드 하에서 동적 로드 조정이 시스템 처리량에 얼마나 기여하는가?

주요 결과

• PS² Stream은 동적 로드 조정 기능이 없는 시스템 대비 26% 높은 처리량을 달성하여, 이 시스템의 로드 조정 메커니즘이 효과적임을 입증한다.
• 글로벌 리밸런싱(GR) 알고리즘은 가장 낮은 이주 비용과 이주 시간을 기록하며, RA 대비 약 50%, SI 대비 약 70%의 이주 시간 감소를 기록한다.
• GR는 지연 시간 프로파일에서 최고의 성능을 보이며, 80%의 튜플이 이주 영향을 받지 않아(100ms 이내), 오직 4%만 심각하게 지연됨(1초 초과)을 기록한다.
• DP(Dynamic Partitioning)는 지연 시간에서 두 번째로 우수한 성능을 보이며, 72%의 튜플이 영향을 받지 않지만, 셀 선택 오버헤드로 인해 더 높은 선택 시간을 기록한다.
• 공간과 텍스트를 모두 고려한 하이브리드 워크로드 파artition 전략은 공간 또는 텍스트 기반 파artition 전용 베이스라인 대비 처리량과 로드 밸런싱 면에서 뛰어난 성능을 보인다.
• 쿼리 수가 증가할수록 이주 비용과 이주 시간이 증가하지만, 모든 워크로드에서 GR과 DP는 SI 및 RA 대비 유의미하게 낮은 오버헤드를 유지한다.