[論文レビュー] Adaptive Geospatial Joins for Modern Hardware

Andreas Kipf, Harald Lang+5 more|arXiv (Cornell University)|Feb 26, 2018

Data Management and Algorithms参考文献 15被引用数 6

ひとこと要約

本稿では、現代のハードウェアに最適化された適応的ジオスペーシャルジョインを提示している。階層的クアッドツリーに基づくグリッドを、特殊な基数木（Adaptive Cell Trie）でインデックス化することで、真のヒットフィルタリングを実現している。履歴点データを用いてインデックスを学習し、Intel Knights LandingのSIMD並列化を活用することで、高コストな幾何演算を低減し、既存システムと比較して最大100倍の高速化を達成している。

ABSTRACT

Geospatial joins are a core building block of connected mobility applications. An especially challenging problem are joins between streaming points and static polygons. Since points are not known beforehand, they cannot be indexed. Nevertheless, points need to be mapped to polygons with low latencies to enable real-time feedback. We present an adaptive geospatial join that uses true hit filtering to avoid expensive geometric computations in most cases. Our technique uses a quadtree-based hierarchical grid to approximate polygons and stores these approximations in a specialized radix tree. We emphasize on an approximate version of our algorithm that guarantees a user-defined precision. The exact version of our algorithm can adapt to the expected point distribution by refining the index. We optimized our implementation for modern hardware architectures with wide SIMD vector processing units, including Intel's brand new Knights Landing. Overall, our approach can perform up to two orders of magnitude faster than existing techniques.

研究の動機と目的

• ストリーミング点と静的ポリゴン間のリアルタイムジオスペーシャルジョインにおける性能ボトルネックを解消すること。
• 現代のシステムが備える大容量メインメモリを活用して、計算集約的ジオスペーシャルジョイン問題をメモリ集約的問題に変換すること。
• ユーザー定義の精度に適合する適応的インデキシングを可能にし、予想される点の分布に適応すること。
• Intel Knights Landingのような現代のハードウェア（広帯域のSIMDユニットと高帯域幅メモリを備える）に最適化すること。
• 近似バージョンにおいてもユーザー定義の精度を保証するとともに、幾何計算を最小限に抑えること。

提案手法

• 各セルにS2ライブラリのヒルベルトカーブベースの列挙を用いて一意な64ビットセルIDを割り当てる、階層的クアッドツリーに基づくグリッドを用いてポリゴンを近似する。
• ポリゴン近似を、特別に設計された基数木であるAdaptive Cell Trie（ACT）でインデックス化し、候補となるジョイン相手の効率的検索とフィルタリングを可能にする。
• 真のヒットフィルタリングを適用：インデックスを活用することで、大多数またはすべての候補ヒットを真のヒットとして扱い、大部分のケースで高コストなPIPテストを回避する。
• 履歴点データを用いてインデックスを学習し、グリッドを適応的に精緻化することで、ヒット率を向上させ、誤検出を低減する。
• Intel Knights Landing向けにAVX-512ベクタ命令を活用し、複数の点とセルを並列に処理する実装最適化を実施する。
• ユーザー定義の精度を保証する近似バージョンと、正しさを保証するためインデックスを精緻化する正確バージョンの両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 現代のメインメモリアーキテクチャを活用して、計算集約的処理からメモリ集約的処理へのシフトを図ることで、ストリーミング点と静的ポリゴン間のジオスペーシャルジョインを高速化できるか？
• RQ2 階層的グリッドインデキシングと基数木の組み合わせが、ジオスペーシャルジョインにおける真のヒットフィルタリングの効率をどのように向上させられるか？
• RQ3 履歴点の分布に基づいてインデックスを学習することで、ヒット率を向上させ、幾何的PIPテストの必要性をどの程度低減できるか？
• RQ4 広帯域のSIMDユニットと高帯域幅メモリを備えた現代のハードウェアに最適化することで、どの程度の性能向上が達成できるか？
• RQ5 本アプローチは、ユーザー定義の精度保証が可能な近似版と正確版の両方をサポートできるか？

主な発見

• 提案された適応的ジオスペーシャルジョインは、最先端のスタンドアロンライブラリおよびジオスペーシャルデータベースシステムと比較して、最大2桁（100倍）の性能向上を達成している。
• Adaptive Cell Trieを用いた真のヒットフィルタリングにより、多くのワークロードで点がポリゴン内にあるかの判定（PIPテスト）の必要回数が1%未満にまで低減された。
• 近似バージョンでは、階層的インデキシング構造におけるグリッド精緻化のレベルを制御することで、ユーザー定義の精度を保証している。
• 正確バージョンでは、履歴データに基づいてインデックスを精緻化することで、クエリ点の予想される分布に適応し、フィルタリングの正確性を向上させている。
• Intel Knights Landing向けにAVX-512ベクタ命令を活用した最適化により、多数の点とセルを並列に処理する性能が顕著に向上した。
• 均一なグリッドを避ける代わりに適応的かつ幾何学的感度を持つインデキシングを採用することで、Magellan、PostGIS、Spark Magellanなどのシステムを凌駆している。