[论文解读] FAST: Frequency-Aware Spatio-Textual Indexing for In-Memory Continuous Filter Query Processing

Ahmed R. Mahmood, Ahmed M. Aly+1 more|arXiv (Cornell University)|Sep 8, 2017

Data Management and Algorithms参考文献 31被引用 4

一句话总结

FAST 是一种频率感知的内存内时空索引方法，能根据关键词频率和空间分布动态调整索引策略，利用空间金字塔和轻量级文本索引（支持单元共享）以减少内存使用。其搜索速度比当前最先进的索引快达3倍，插入速度快达5倍，同时内存使用量仅为三分之一。

ABSTRACT

Many applications need to process massive streams of spatio-textual data in real-time against continuous spatio-textual queries. For example, in location-aware ad targeting publish/subscribe systems, it is required to disseminate millions of ads and promotions to millions of users based on the locations and textual profiles of users. In this paper, we study indexing of continuous spatio-textual queries. There exist several related spatio-textual indexes that typically integrate a spatial index with a textual index. However, these indexes usually have a high demand for main-memory and assume that the entire vocabulary of keywords is known in advance. Also, these indexes do not successfully capture the variations in the frequencies of keywords across different spatial regions and treat frequent and infrequent keywords in the same way. Moreover, existing indexes do not adapt to the changes in workload over space and time. For example, some keywords may be trending at certain times in certain locations and this may change as time passes. This affects the indexing and searching performance of existing indexes significantly. In this paper, we introduce FAST, a Frequency-Aware Spatio-Textual index for continuous spatio-textual queries. FAST is a main-memory index that requires up to one third of the memory needed by the state-of-the-art index. FAST does not assume prior knowledge of the entire vocabulary of indexed objects. FAST adaptively accounts for the difference in the frequencies of keywords within their corresponding spatial regions to automatically choose the best indexing approach that optimizes the insertion and search times. Extensive experimental evaluation using real and synthetic datasets demonstrates that FAST is up to 3x faster in search time and 5x faster in insertion time than the state-of-the-art indexes.

研究动机与目标

• 解决现有时空索引在处理高速度、实时的空间与文本数据流时效率低下的问题。
• 克服当前索引假设已知完整关键词词汇表且对所有关键词一视同仁（无论频率高低）的局限性。
• 设计一种自适应索引系统，能够考虑关键词频率在空间上的变化以及随时间演变的工作负载动态。
• 在保持低延迟插入与搜索性能的同时，最小化主内存使用量，以支持连续过滤查询。
• 实现在流式环境中对数百万个连续时空查询的可扩展、实时处理。

提出的方法

• 集成空间金字塔以划分空间域，支持高效的范围空间查询。
• 采用频率感知的文本索引，根据每个空间单元内关键词的频率选择最优索引策略（如倒排列表或关键词Trie）。
• 使用轻量级、延迟清理机制，移除过期查询并适应关键词频率的变化，而无需完全重建。
• 通过在查询集重叠的空间单元之间共享文本索引结构，实现单元共享，以降低内存开销。
• 根据关键词的选择性动态调整每个空间单元的索引结构——对高频关键词偏好高效结构，对低频关键词则采用不同策略。
• 通过增量式构建索引，避免对完整词汇表的先验知识。

实验结果

研究问题

• RQ1 如何在高数据流速的实时流式工作负载中，高效处理连续过滤查询的时空索引？
• RQ2 通过根据空间区域内关键词的频率分布进行索引策略调整，能在多大程度上提升索引性能？
• RQ3 能否设计一种主内存索引，使其内存使用量显著低于现有最先进的索引，同时保持或提升性能？
• RQ4 该系统如何适应关键词流行度和工作负载分布随时间变化的动态变化？
• RQ5 空间范围和关键词数量的变化对索引与查询处理性能有何影响？

主要发现

• 与最先进的AP-tree索引相比，FAST将主内存使用量最多减少66%。
• 在真实和合成数据集上，FAST的搜索性能最高比AP-tree快3倍。
• FAST的查询插入（索引）时间最高比AP-tree快5倍。
• 无论空间范围从总空间域的0.01%到10%，FAST的性能优势均保持一致。
• 在扩展到2000万个索引查询时，FAST在搜索和索引时间上仍优于AP-tree，保持性能优势。
• 单元共享与频率感知索引策略使FAST能够高效扩展，同时最小化内存占用。