[논문 리뷰] GeoBlocks: A Query-Driven Storage Layout for Geospatial Data.

Christian Winter, Andreas Kipf외 2명|arXiv (Cornell University)|2019. 08. 21.

Data Management and Algorithms인용 수 2

한 줄 요약

GeoBlocks는 지오스페이셜 포인트 데이터를 쿼리 기반으로 저장하는 레이아웃으로, 적응형 블록 분할을 통해 사전 집계를 수행하여 밀리초 이내의 쿼리 지연을 제공한다. 쿼리 워크로드의 비대칭성과 근사 오차의 상한을 고려함으로써, 실시간으로 데이터를 집계하는 방식에 비해 상호작용형 지오스페이셜 분석의 성능을 수 개의 지수 단위로 향상시킨다.

ABSTRACT

City authorities need to analyze urban geospatial data to improve transportation and infrastructure. Current tools do not address the exploratory and interactive nature of these analyses and in many cases consult the raw data to compute query results. While pre-aggregation and materializing intermediate query results is common practice in many OLAP settings, it is rarely used to speed up geospatial queries. We introduce GeoBlocks, a pre-aggregating, query-driven storage layout for geospatial point data that can provide approximate, yet precision-bounded aggregation results over arbitrary query polygons. GeoBlocks adapt to the skew naturally present in query workloads to improve query performance over time. In summary, GeoBlocks outperform on-the-fly aggregation by up to several orders of magnitude, providing the sub-second query latencies required for interactive analytics.

연구 동기 및 목표

• 원시 데이터에 대한 쿼리의 실시간 계산으로 인해 발생하는 성능 저하 문제를 해결하기 위해.
• 임의의 다각형 쿼리 영역에 대해 정밀도 상한이 있는 빠른 근사 쿼리 결과를 제공하기 위해.
• 실시간 쿼리 워크로드의 워크로드 비대칭성을 활용하여 장기적으로 성능을 향상시키기 위해.
• 도시 계획 및 인프라 분석의 쿼리 지연을 밀리초 이내로 줄이기 위해.
• 지오스페이셜 데이터 영역에서 아직 활용도가 낮은 OLAP 스타일의 사전 집계 기법을 확장하기 위해.

제안 방법

• GeoBlocks는 쿼리 패턴과 워크로드 특성을 기반으로 지오스페이셜 포인트 데이터를 공간 블록으로 조직하고 사전 집계한다.
• 자주 액세스되는 쿼리 영역의 비대칭성을 반영하기 위해 블록 경계를 동적으로 조정하는 쿼리 기반 레이아웃을 사용한다.
• 블록 크기와 해상도 정책을 제어하여 집계 과정에서 발생하는 오차를 상한선으로 제어함으로써 정밀도 상한을 유지한다.
• 부분적 중첩에 대해 보정 항목을 적용함으로써 임의의 다각형 쿼리를 조합한 사전 집계 블록을 통해 처리할 수 있다.
• 관련된 사전 집계 블록을 조합하고 경계 효과를 보정하여 저지연 응답을 보장한다.
• 쿼리 워크로드를 학습하고 액세스 패턴을 최적화하기 위해 블록을 재조직함으로써 레이아웃이 시간이 지남에 따라 진화한다.

실험 결과

연구 질문

• RQ1 사전 집계 저장 레이아웃이 상호작용형 지오스페이셜 분석의 쿼리 지연을 크게 줄일 수 있는가?
• RQ2 지오스페이셜 쿼리 처리에서 높은 성능을 달성하면서도 근사 오차를 어떻게 상한선으로 제어할 수 있는가?
• RQ3 지오스페이셜 시스템에서 워크로드 비대칭성을 얼마나 잘 활용할 수 있는가? 이는 장기적인 쿼리 성능 향상에 기여하는가?
• RQ4 실제 도시 분석 워크로드에서 쿼리 기반 저장 레이아웃이 실시간 집계 방식을 능가할 수 있는가?
• RQ5 다양한 다각형 쿼리 형태에 걸쳐 쿼리 실행을 가속화하면서도 정밀도를 어떻게 유지할 수 있는가?

주요 결과

• GeoBlocks는 밀리초 이내의 쿼리 지연을 달성하여 대규모 도시 지오스페이셜 데이터에서 상호작용형 분석을 가능하게 한다.
• 쿼리 실행 시간에서 실시간 집계 방식 대비 수 개의 지수 단위로 성능 향상을 달성한다.
• 워크로드 비대칭성을 효과적으로 활용하여 쿼리 패턴이 안정화됨에 따라 성능이 향상된다.
• 적응형 블록 해상도와 오차 보정 메커니즘을 통해 사용자가 지정한 상한 내에서 정밀도를 유지한다.
• 쿼리 기반 레이아웃 덕분에 정확도를 희생시키지 않고도 임의의 다각형 쿼리를 효율적으로 처리할 수 있다.
• GeoBlocks의 사전 집계 기법은 반복되거나 유사한 쿼리에 대해 입출력(I/O) 및 계산 오버헤드를 줄인다.