[论文解读] GeoFlink: A Framework for the Real-time Processing of Spatial Streams

Salman Ahmed Shaikh, Komal Mariam+2 more|arXiv (Cornell University)|Apr 15, 2020

Data Management and Algorithms参考文献 15被引用 2

一句话总结

GeoFlink 通过引入基于网格的空间索引以及对空间数据类型和连续查询的原生支持，扩展了 Apache Flink，使其能够实现实时空间数据流的处理。与标准 Flink 相比，它在空间范围查询、kNN 查询和点数据连接操作方面实现了显著更高的查询吞吐量。

ABSTRACT

Apache Flink is an open-source system for scalable processing of batch and streaming data. Flink does not natively support efficient processing of spatial data streams, which is a requirement of many applications dealing with spatial data. Besides Flink, other scalable spatial data processing platforms including GeoSpark, Spatial Hadoop, etc. do not support streaming workloads and can only handle static/batch workloads. To fill this gap, we present GeoFlink, which extends Apache Flink to support spatial data types, indexes and continuous queries over spatial data streams. To enable the efficient processing of spatial continuous queries and for the effective data distribution across Flink cluster nodes, a gird-based index is introduced. GeoFlink currently supports spatial range, spatial $k$NN and spatial join queries on point data type. An extensive experimental study on real spatial data streams shows that GeoFlink achieves significantly higher query throughput than ordinary Flink processing.

研究动机与目标

• 解决 Apache Flink 及其他批处理导向平台（如 GeoSpark 和 Spatial Hadoop）缺乏原生空间流处理支持的问题。
• 实现实时空间数据流上连续空间查询（如范围查询、kNN 查询和连接操作）的高效执行。
• 设计一种可扩展的数据分发机制，利用基于网格的空间索引在 Flink 集群节点之间实现性能优化。
• 在真实空间数据流上评估 GeoFlink 的性能，并与标准 Flink 处理方式进行比较。

提出的方法

• 扩展 Apache Flink 的运行时和 API，原生支持空间数据类型，包括点几何类型。
• 引入基于网格的空间索引，以在 Flink 集群节点之间分区和分发空间数据，实现高效查询处理。
• 支持对流式点数据执行空间范围、kNN 和空间连接操作的连续查询。
• 将空间数据映射到网格单元，以实现高效的空间分区，并减少分布式处理中的跨节点通信。
• 利用 Flink 的流式执行模型，保持连续空间查询的低延迟处理。
• 采用混合方法，结合空间索引与 Flink 的事件时间及窗口语义，实现准确且可扩展的处理。

实验结果

研究问题

• RQ1 对 Apache Flink 的空间扩展是否能够实现实时数据流上连续空间查询的高吞吐量？
• RQ2 基于网格的索引策略如何在分布式流式环境中改善数据分布和查询性能？
• RQ3 GeoFlink 在空间范围查询、kNN 查询和空间连接查询方面相较于标准 Flink 的性能提升如何？
• RQ4 GeoFlink 在多个集群节点上如何实现扩展，同时保持空间流处理的低延迟？

主要发现

• 在真实空间数据流上，GeoFlink 在空间范围查询、kNN 查询和空间连接查询方面显著优于标准 Flink，实现了更高的查询吞吐量。
• 基于网格的索引实现了 Flink 集群节点间高效的数据分发，减少了通信开销并提升了可扩展性。
• 连续空间查询以低延迟处理，证明了 GeoFlink 在实时应用中的适用性。
• 性能评估证实，GeoFlink 在吞吐量方面优于原生 Flink，尤其在高数据吞吐率下表现更优。