[논문 리뷰] GeoFlink: A Framework for the Real-time Processing of Spatial Streams

Salman Ahmed Shaikh, Komal Mariam외 2명|arXiv (Cornell University)|2020. 04. 15.

Data Management and Algorithms참고 문헌 15인용 수 2

한 줄 요약

GeoFlink는 격자 기반 공간 인덱스와 공간 데이터 유형 및 연속 쿼리에 대한 네이티브 지원을 도입하여 Apache Flink를 실시간 공간 데이터 스트림 처리를 가능하게 확장한다. 특히 점 데이터에 대한 공간 범위, kNN 및 조인 연산에서 표준 Flink보다 훨씬 높은 쿼리 처리량을 달성한다.

ABSTRACT

Apache Flink is an open-source system for scalable processing of batch and streaming data. Flink does not natively support efficient processing of spatial data streams, which is a requirement of many applications dealing with spatial data. Besides Flink, other scalable spatial data processing platforms including GeoSpark, Spatial Hadoop, etc. do not support streaming workloads and can only handle static/batch workloads. To fill this gap, we present GeoFlink, which extends Apache Flink to support spatial data types, indexes and continuous queries over spatial data streams. To enable the efficient processing of spatial continuous queries and for the effective data distribution across Flink cluster nodes, a gird-based index is introduced. GeoFlink currently supports spatial range, spatial $k$NN and spatial join queries on point data type. An extensive experimental study on real spatial data streams shows that GeoFlink achieves significantly higher query throughput than ordinary Flink processing.

연구 동기 및 목표

• Apache Flink 및 GeoSpark, Spatial Hadoop와 같은 배치 중심 플랫폼에서의 네이티브 공간 스트림 처리 지원 부족 문제를 해결하기 위해.
• 실시간 공간 데이터 스트림에서 범위, kNN 및 조인과 같은 연속 공간 쿼리를 효율적으로 실행하기 위해.
• 성능 향상을 위해 격자 기반 공간 인덱스를 사용하여 Flink 클러스터 노드 간 스케일러블한 데이터 분포 메커니즘을 설계하기 위해.
• 실세계 공간 데이터 스트림에서 GeoFlink의 성능을 평가하고 표준 Flink 처리 방식과 비교하기 위해.

제안 방법

• 점 기하학 유형을 포함한 공간 데이터 유형을 네이티브로 지원하기 위해 Apache Flink의 런타임 및 API를 확장한다.
• 공간 데이터를 Flink 클러스터 노드 간에 효율적으로 쿼리 처리할 수 있도록 격자 기반 공간 인덱스를 도입하여 분할 및 분포를 수행한다.
• 스트리밍 점 데이터에서 공간 범위, kNN 및 공간 조인 연산을 위한 연속 쿼리 실행을 지원한다.
• 공간 데이터를 격자 셀에 매핑하여 효율적인 공간 분할을 가능하게 하고 분산 처리 시 노드 간 통신을 줄인다.
• 저지연 처리를 유지하기 위해 Flink의 스트리밍 실행 모델을 활용하여 연속 공간 쿼리의 처리를 수행한다.
• 정확하고 확장 가능한 처리를 위해 공간 인덱싱과 Flink의 이벤트 시간 및 윈도우링 의미 체계를 조합한 하이브리드 접근 방식을 사용한다.

실험 결과

연구 질문

• RQ1 Apache Flink에 대한 공간 확장이 실시간 데이터 스트림에서 연속 공간 쿼리에 대해 높은 처리량을 달성할 수 있는가?
• RQ2 격자 기반 인덱싱 전략은 분산 스트리밍 환경에서 데이터 분포와 쿼리 성능을 어떻게 향상시키는가?
• RQ3 GeoFlink는 공간 범위, kNN 및 공간 조인 쿼리에서 표준 Flink 대비 어떤 성능 향상을 달성하는가?
• RQ4 GeoFlink는 다수의 클러스터 노드에 걸쳐 어떻게 확장되며, 동시에 공간 스트림 처리의 저지연을 유지하는가?

주요 결과

• GeoFlink는 실세계 공간 데이터 스트림에서 공간 범위, kNN 및 공간 조인 쿼리에 대해 표준 Flink보다 훨씬 높은 쿼리 처리량을 달성한다.
• 격자 기반 인덱스는 Flink 클러스터 노드 간 효율적인 데이터 분포를 가능하게 하여 통신 오버헤드를 줄이고 확장성을 향상시킨다.
• 저지연으로 연속 공간 쿼리가 처리되어 GeoFlink가 실시간 응용 분야에 적합함을 입증한다.
• 성능 평가 결과, GeoFlink는 특히 높은 데이터 인게이션 레이트 하에서 처리량 측면에서 바닐라 Flink를 뛰어넘는다.