[논문 리뷰] Adaptive Geospatial Joins for Modern Hardware

Andreas Kipf, Harald Lang외 5명|arXiv (Cornell University)|2018. 02. 26.

Data Management and Algorithms참고 문헌 15인용 수 6

한 줄 요약

이 논문은 현대 하드웨어를 고려해 최적화된 적응형 지오스페이셜 조인을 제안하며, 고급 루트 트리(Adaptive Cell Trie)로 인덱싱된 계층적 퀼드트리 기반 격자 구조를 사용해 진짜 히트 필터링을 가능하게 한다. 이전 점 데이터를 기반으로 인덱스를 훈련하고 인텔 노드스 컨트리버 랜딩에서 SIMD 벡터화를 활용함으로써, 비용이 많이 드는 기하 연산을 줄이고 기존 시스템 대비 최대 100배의 성능 향상을 달성한다.

ABSTRACT

Geospatial joins are a core building block of connected mobility applications. An especially challenging problem are joins between streaming points and static polygons. Since points are not known beforehand, they cannot be indexed. Nevertheless, points need to be mapped to polygons with low latencies to enable real-time feedback. We present an adaptive geospatial join that uses true hit filtering to avoid expensive geometric computations in most cases. Our technique uses a quadtree-based hierarchical grid to approximate polygons and stores these approximations in a specialized radix tree. We emphasize on an approximate version of our algorithm that guarantees a user-defined precision. The exact version of our algorithm can adapt to the expected point distribution by refining the index. We optimized our implementation for modern hardware architectures with wide SIMD vector processing units, including Intel's brand new Knights Landing. Overall, our approach can perform up to two orders of magnitude faster than existing techniques.

연구 동기 및 목표

• 스트리밍 점과 정적 다각형 간 실시간 지오스페이셜 조인의 성능 저하 문제를 해결한다.
• 현대 시스템의 대용량 주변 메모리 용량을 활용해 계산 집약적인 지오스페이셜 조인 문제를 메모리 집약적인 문제로 전환한다.
• 사용자가 정의한 정밀도에 맞게 적응형 인덱싱을 가능하게 하여 점의 분포에 적응한다.
• 인텔 노드스 컨트리버 랜딩과 같은 현대 하드웨어를 고려해 최적화한다. 이는 넓은 SIMD 유닛과 높은 메모리 대역폭을 포함한다.
• 근사 버전에서도 사용자가 정의한 정밀도를 보장하면서 기하 연산을 최소화한다.

제안 방법

• S2 라이브러리의 힐버트 곡선 기반 번호 부여 방식을 사용해 각 셀에 고유한 64비트 셀 ID를 할당하는 계층적 퀸트리 기반 격자를 사용해 다각형을 근사한다.
• 특수화된 루트 트리인 적응형 셀 트리(Adaptive Cell Trie, ACT)에 다각형 근사치를 인덱싱하여 후보 조인 파art너의 효율적 검색과 필터링을 가능하게 한다.
• 진짜 히트 필터링 적용: 대부분 또는 모든 후보 히트를 인덱스를 통해 진짜 히트로 간주함으로써 대부분의 경우에서 비용이 많이 드는 PIP 테스트를 피한다.
• 이전 점 데이터를 기반으로 인덱스를 훈련시켜 격자를 적응적으로 개선함으로써 히트율을 높이고 가짜 긍정을 줄인다.
• AVX-512 벡터 명령어를 사용해 인텔 노드스 컨트리버 랜딩에 최적화된 구현을 통해 다수의 점과 셀을 동시에 처리한다.
• 사용자가 정의한 정밀도를 보장하는 근사 버전과 정확한 버전을 모두 지원하며, 이는 인덱스의 정밀도를 조절함으로써 달성된다.

실험 결과

연구 질문

• RQ1 현대 주변 메모리 아키텍처를 활용해 계산 집약적인 작업에서 메모리 집약적인 작업으로 전환함으로써, 스트리밍 점과 정적 다각형 간의 지오스페이셜 조인을 가속화할 수 있는가?
• RQ2 계층적 격자 인덱싱과 루트 트리의 조합이 지오스페이셜 조인에서 진짜 히트 필터링의 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 이전 점 분포 데이터를 기반으로 인덱스를 훈련시키면 히트율이 얼마나 향상되고 기하 PIP 테스트의 필요성이 얼마나 감소하는가?
• RQ4 넓은 SIMD 유닛과 높은 메모리 대역폭을 갖춘 현대 하드웨어에 최적화함으로써 어떤 성능 향상을 달성할 수 있는가?
• RQ5 이 방법은 사용자가 정의한 정밀도 보장을 제공하는 근사 및 정확한 두 가지 형태를 모두 지원할 수 있는가?

주요 결과

• 제안된 적응형 지오스페이셜 조인은 최첨단 독립형 라이브러리와 지오스페이셜 데이터베이스 시스템 대비 최대 100배(100×)의 성능 향상을 달성한다.
• Adaptive Cell Trie를 통한 진짜 히트 필터링 덕분에 많은 워크로드에서 비용이 많이 드는 점-다각형(PIP) 테스트의 비율이 1% 미만으로 감소한다.
• 근사 버전은 계층적 인덱싱 구조의 격자 정밀도 조절을 통해 사용자가 정의한 정밀도를 보장한다.
• 정확한 버전은 이전 데이터를 기반으로 인덱스를 정밀하게 조정함으로써 쿼리 점의 예상 분포에 적응하여 필터링 정확도를 향상시킨다.
• AVX-512 벡터 명령어를 사용해 인텔 노드스 컨트리버 랜딩에 최적화된 구현은 대량의 점과 셀을 동시에 처리하는 데 있어 처리 속도를 크게 향상시킨다.
• 균일한 격자 구조를 피하고 적응형이며 기하학적 정보를 반영한 인덱싱을 사용함으로써, Magellan, PostGIS, Spark Magellan과 같은 시스템을 뛰어넘는 성능을 달성한다.