[论文解读] Adaptive Geospatial Joins for Modern Hardware

Andreas Kipf, Harald Lang+5 more|arXiv (Cornell University)|Feb 26, 2018

Data Management and Algorithms参考文献 15被引用 6

一句话总结

本文提出一种针对现代硬件优化的自适应地理空间连接算法，采用基于分层四叉树的网格结构，并通过专用的基数树（自适应单元Trie，Adaptive Cell Trie）进行索引，实现真正的命中过滤。通过在历史点数据上训练索引，并利用英特尔Knight's Landing处理器的SIMD向量指令，该方法减少了昂贵的几何运算，相较于现有系统最高可实现100倍的性能提升。

ABSTRACT

Geospatial joins are a core building block of connected mobility applications. An especially challenging problem are joins between streaming points and static polygons. Since points are not known beforehand, they cannot be indexed. Nevertheless, points need to be mapped to polygons with low latencies to enable real-time feedback. We present an adaptive geospatial join that uses true hit filtering to avoid expensive geometric computations in most cases. Our technique uses a quadtree-based hierarchical grid to approximate polygons and stores these approximations in a specialized radix tree. We emphasize on an approximate version of our algorithm that guarantees a user-defined precision. The exact version of our algorithm can adapt to the expected point distribution by refining the index. We optimized our implementation for modern hardware architectures with wide SIMD vector processing units, including Intel's brand new Knights Landing. Overall, our approach can perform up to two orders of magnitude faster than existing techniques.

研究动机与目标

• 解决流式点与静态多边形之间实时地理空间连接的性能瓶颈问题。
• 通过利用现代系统的大容量主内存，将计算密集型的地理空间连接问题转化为内存密集型问题。
• 实现自适应索引，可细化至用户定义的精度，并适应预期的点分布。
• 针对现代硬件进行优化，包括具备宽SIMD单元和高内存带宽的英特尔Knight's Landing处理器。
• 在近似版本中保证用户定义的精度，同时最小化几何计算量。

提出的方法

• 使用基于分层四叉树的网格来近似多边形，每个单元通过S2库基于希尔伯特曲线的枚举方式分配唯一的64位单元ID。
• 在一种称为自适应单元Trie（Adaptive Cell Trie, ACT）的专用基数树中索引多边形近似结果，以实现对候选连接对象的高效查找与过滤。
• 应用真正的命中过滤：通过索引机制，将大多数或全部候选命中视为真实命中，从而在大多数情况下避免昂贵的点在多边形（PIP）测试。
• 利用历史点数据训练索引，以自适应方式优化网格结构，提高命中率并减少误报。
• 通过使用AVX-512向量指令对英特尔Knight's Landing处理器进行实现优化，实现多个点与单元的并行处理。
• 同时支持近似版本（用户定义精度）与精确版本，后者通过细化索引以保证正确性。

实验结果

研究问题

• RQ1 能否通过利用现代主存架构，将计算密集型的地理空间连接操作转化为内存密集型操作，从而加速流式点与静态多边形之间的地理空间连接？
• RQ2 分层网格索引与基数树相结合，如何提升地理空间连接中真正命中过滤的效率？
• RQ3 在历史点分布数据上训练索引，能在多大程度上提高命中率并减少对几何PIP测试的需求？
• RQ4 通过针对具备宽SIMD单元与高内存带宽的现代硬件进行优化，能够获得多大的性能提升？
• RQ5 该方法能否同时支持近似与精确版本，并保证用户定义的精度？

主要发现

• 所提出的自适应地理空间连接算法相较于最先进的独立库与地理空间数据库系统，最高可实现两个数量级（100倍）的性能提升。
• 通过自适应单元Trie实现的真正命中过滤，将昂贵的点在多边形（PIP）测试次数减少至多数工作负载中不足1%。
• 该算法的近似版本通过控制分层索引结构中的网格细化层级，可保证用户定义的精度。
• 该算法的精确版本通过基于历史数据细化索引，适应查询点的预期分布，从而提升过滤准确性。
• 针对英特尔Knight's Landing处理器使用AVX-512向量指令进行优化，显著加速了对大规模点与单元批次的并行处理。
• 该方法优于Magellan、PostGIS与Spark Magellan等系统，因其避免了均匀网格，转而采用自适应、几何感知的索引结构。