[論文レビュー] GeoFlink: A Framework for the Real-time Processing of Spatial Streams

Salman Ahmed Shaikh, Komal Mariam+2 more|arXiv (Cornell University)|Apr 15, 2020

Data Management and Algorithms参考文献 15被引用数 2

ひとこと要約

GeoFlink は、グリッドベースの空間インデックスと空間データ型および連続クエリのネイティブサポートを導入することで、Apache Flink を拡張し、空間データストリームのリアルタイム処理を可能にします。特に点データに対する空間範囲、kNN、および結合演算において、標準の Flink よりも著しく高いクエリスループットを達成しています。

ABSTRACT

Apache Flink is an open-source system for scalable processing of batch and streaming data. Flink does not natively support efficient processing of spatial data streams, which is a requirement of many applications dealing with spatial data. Besides Flink, other scalable spatial data processing platforms including GeoSpark, Spatial Hadoop, etc. do not support streaming workloads and can only handle static/batch workloads. To fill this gap, we present GeoFlink, which extends Apache Flink to support spatial data types, indexes and continuous queries over spatial data streams. To enable the efficient processing of spatial continuous queries and for the effective data distribution across Flink cluster nodes, a gird-based index is introduced. GeoFlink currently supports spatial range, spatial $k$NN and spatial join queries on point data type. An extensive experimental study on real spatial data streams shows that GeoFlink achieves significantly higher query throughput than ordinary Flink processing.

研究の動機と目的

• Apache Flink や GeoSpark や Spatial Hadoop といったバッチ指向のプラットフォームに、ネイティブな空間ストリーム処理のサポートが欠如しているという問題を解決すること。
• リアルタイム空間データストリーム上で、範囲、kNN、結合などの連続的空間クエリを効率的に実行できること。
• グリッドベースの空間インデックスを用いて、Flink クラスターノード間でのスケーラブルなデータ分散機構を設計すること。
• 実世界の空間データストリーム上で GeoFlink のパフォーマンスを評価し、標準の Flink 処理と比較すること。

提案手法

• 点ジオメトリを含む空間データ型をネイティブにサポートするように、Apache Flink のランタイムと API を拡張する。
• Flink クラスターノード間での空間データのパーティショニングと分散を効率的に行うために、グリッドベースの空間インデックスを導入する。
• ストリーミング点データに対して、空間範囲、kNN、空間結合の連続クエリ実行をサポートする。
• 空間データをグリッドセルにマッピングすることで、効率的な空間パーティショニングを実現し、分散処理におけるノード間通信を削減する。
• Flink のストリーミング実行モデルを活用して、連続的空間クエリの低遅延処理を維持する。
• 空間インデックスと Flink のイベント時刻およびウィンドウ処理のセマンティクスを組み合わせたハイブリッドアプローチを用い、正確でスケーラブルな処理を実現する。

実験結果

リサーチクエスチョン

• RQ1 Apache Flink に空間拡張を施すことで、リアルタイムデータストリーム上で連続的空間クエリに高いスループットを達成できるか？
• RQ2 グリッドベースのインデキシング戦略は、分散ストリーミング環境におけるデータ分散とクエリパフォーマンスをどのように向上させるか？
• RQ3 GeoFlink は、空間範囲、kNN、空間結合クエリにおいて、標準の Flink よりもどの程度のパフォーマンス向上を達成するか？
• RQ4 GeoFlink は複数のクラスターノードにスケーリングしながらも、空間ストリームの低遅延処理を維持できるか？

主な発見

• GeoFlink は、実際の空間データストリームにおける空間範囲、kNN、空間結合クエリにおいて、標準の Flink よりも著しく高いクエリスループットを達成している。
• グリッドベースのインデックスにより、Flink クラスターノード間での効率的なデータ分散が可能となり、通信オーバーヘッドが低減され、スケーラビリティが向上した。
• 空間連続クエリは低遅延で処理されており、GeoFlink がリアルタイムアプリケーションに適していることが示された。
• パフォーマンス評価により、GeoFlink が、特に高いデータインジェストレート下でも、スループットにおいてヴァナイル Flink を上回ることが確認された。