[논문 리뷰] FAST: Frequency-Aware Spatio-Textual Indexing for In-Memory Continuous Filter Query Processing

Ahmed R. Mahmood, Ahmed M. Aly외 1명|arXiv (Cornell University)|2017. 09. 08.

Data Management and Algorithms참고 문헌 31인용 수 4

한 줄 요약

FAST는 키워드 빈도와 공간 분포에 따라 동적으로 색인 전략을 조정하는 주기억장치 기반의 주파수 인지 스펙트럼-텍스트 색인 방법이다. 공간 피라미드와 셀 공유 기반의 경량 텍스트 색인을 사용하여 메모리 사용량을 줄인다. 최신 기술 대비 검색 속도는 최대 3배 빠르고 삽입 속도는 최대 5배 빠르며, 메모리 사용량은 3분의 1로 줄어든다.

ABSTRACT

Many applications need to process massive streams of spatio-textual data in real-time against continuous spatio-textual queries. For example, in location-aware ad targeting publish/subscribe systems, it is required to disseminate millions of ads and promotions to millions of users based on the locations and textual profiles of users. In this paper, we study indexing of continuous spatio-textual queries. There exist several related spatio-textual indexes that typically integrate a spatial index with a textual index. However, these indexes usually have a high demand for main-memory and assume that the entire vocabulary of keywords is known in advance. Also, these indexes do not successfully capture the variations in the frequencies of keywords across different spatial regions and treat frequent and infrequent keywords in the same way. Moreover, existing indexes do not adapt to the changes in workload over space and time. For example, some keywords may be trending at certain times in certain locations and this may change as time passes. This affects the indexing and searching performance of existing indexes significantly. In this paper, we introduce FAST, a Frequency-Aware Spatio-Textual index for continuous spatio-textual queries. FAST is a main-memory index that requires up to one third of the memory needed by the state-of-the-art index. FAST does not assume prior knowledge of the entire vocabulary of indexed objects. FAST adaptively accounts for the difference in the frequencies of keywords within their corresponding spatial regions to automatically choose the best indexing approach that optimizes the insertion and search times. Extensive experimental evaluation using real and synthetic datasets demonstrates that FAST is up to 3x faster in search time and 5x faster in insertion time than the state-of-the-art indexes.

연구 동기 및 목표

• 고속도, 실시간 스트리밍 환경에서 공간 및 텍스트 데이터의 흐름을 처리하는 데에 비효율적인 기존 스펙트럼-텍스트 색인의 문제를 해결하기 위해.
• 전체 키워드 어휘를 사전에 알고 있다는 가정이 필요하고, 빈도에 관계없이 모든 키워드를 동일하게 취급하는 현재의 색인 기술의 한계를 극복하기 위해.
• 공간적으로 변하는 키워드 빈도와 시간에 따른 워크로드의 변화를 고려한 적응형 색인 시스템을 설계하기 위해.
• 주기억장치 사용량을 최소화하면서도 연속적인 필터 쿼리에 대해 저지연 삽입 및 검색 성능을 유지하기 위해.
• 스트리밍 환경에서 수백만 개의 연속적인 스펙트럼-텍스트 쿼리를 확장 가능하고 실시간으로 처리할 수 있도록 하기 위해.

제안 방법

• 공간 영역을 분할하고 효율적인 공간 범위 쿼리 검색을 가능하게 하기 위해 공간 피라미드를 통합한다.
• 각 공간 셀 내의 키워드 빈도에 따라 최적의 색인 전략(예: 역색인 목록 또는 키워드 트라이)을 선택하는 주파수 인지 텍스트 색인을 활용한다.
• 만료된 쿼리를 제거하고 전체 재빌드 없이도 빈도 변화에 적응하기 위해 경량의 지연 정리 메커니즘을 사용한다.
• 쿼리 집합이 겹치는 공간 셀 간에 텍스트 색인 구조를 공유함으로써 메모리 오버헤드를 줄인다.
• 키워드의 선택도에 따라 각 공간 셀의 색인 구조를 동적으로 조정하여 빈번한 키워드와 희귀한 키워드에 대해 각각 효율적인 구조를 우선시한다.
• 새로운 쿼리가 도착함에 따라 점진적으로 색인을 구축함으로써 전체 어휘를 사전에 알 필요 없이도 작동하도록 한다.

실험 결과

연구 질문

• RQ1 고속도 데이터 흐름을 처리하는 실시간 스트리밍 워크로드에서 연속적인 필터 쿼리를 효율적으로 처리할 수 있는 스펙트럼-텍스트 색인은 어떻게 설계할 수 있는가?
• RQ2 공간 영역에 따라 키워드 빈도 분포에 맞춰 색인 전략을 조정함으로써 성능 향상은 어느 정도 달성할 수 있는가?
• RQ3 기존 최신 기술 색인보다 훨씬 적은 메모리 사용량을 요구하면서도 성능을 유지하거나 향상시킬 수 있는 주기억장치 기반 색인을 설계할 수 있는가?
• RQ4 키워드 인기도와 워크로드 분포의 동적 변화에 시스템은 어떻게 대응하는가?
• RQ5 공간 범위와 키워드 수의 변화가 색인 및 쿼리 처리 성능에 어떤 영향을 미치는가?

주요 결과

• FAST는 최신 기술인 AP-tree 색인 대비 주기억장치 사용량을 최대 66%까지 줄였다.
• 실제 및 합성 데이터셋 모두에서 FAST는 AP-tree 대비 최대 3배 빠른 검색 성능을 달성했다.
• FAST는 AP-tree 대비 최대 5배 빠른 쿼리 삽입(색인화) 시간을 확보했다.
• 공간 범위가 전체 영역의 0.01%에서 10%에 이르는 다양한 범위에서도 FAST의 성능 이점은 일관되게 유지되었다.
• 2000만 개의 색인 쿼리로 확장해도 FAST는 검색 및 색인 시간 모두에서 AP-tree를 능가하는 성능을 유지를 하였다.
• 셀 공유 및 주파수 인지 색인 전략 덕분에 FAST는 메모리 프로파일을 최소화하면서도 효율적으로 확장 가능하다.