[論文レビュー] FAST: Frequency-Aware Spatio-Textual Indexing for In-Memory Continuous Filter Query Processing

Ahmed R. Mahmood, Ahmed M. Aly+1 more|arXiv (Cornell University)|Sep 8, 2017

Data Management and Algorithms参考文献 31被引用数 4

ひとこと要約

FAST は周波数に配慮した、主記憶上でのスパーティオテクストインデックス手法であり、キーワード頻度と空間的分布に基づいて動的にインデックス戦略を適応させる。空間ピラミッドとセル共有を活用した軽量なテキストインデックスを用いることで、メモリ使用量を削減する。FAST は、最先端のインデックスと比較して、検索が最大 3 倍速く、挿入が最大 5 倍速くなる一方で、メモリ使用量は 1/3 にまで削減される。

ABSTRACT

Many applications need to process massive streams of spatio-textual data in real-time against continuous spatio-textual queries. For example, in location-aware ad targeting publish/subscribe systems, it is required to disseminate millions of ads and promotions to millions of users based on the locations and textual profiles of users. In this paper, we study indexing of continuous spatio-textual queries. There exist several related spatio-textual indexes that typically integrate a spatial index with a textual index. However, these indexes usually have a high demand for main-memory and assume that the entire vocabulary of keywords is known in advance. Also, these indexes do not successfully capture the variations in the frequencies of keywords across different spatial regions and treat frequent and infrequent keywords in the same way. Moreover, existing indexes do not adapt to the changes in workload over space and time. For example, some keywords may be trending at certain times in certain locations and this may change as time passes. This affects the indexing and searching performance of existing indexes significantly. In this paper, we introduce FAST, a Frequency-Aware Spatio-Textual index for continuous spatio-textual queries. FAST is a main-memory index that requires up to one third of the memory needed by the state-of-the-art index. FAST does not assume prior knowledge of the entire vocabulary of indexed objects. FAST adaptively accounts for the difference in the frequencies of keywords within their corresponding spatial regions to automatically choose the best indexing approach that optimizes the insertion and search times. Extensive experimental evaluation using real and synthetic datasets demonstrates that FAST is up to 3x faster in search time and 5x faster in insertion time than the state-of-the-art indexes.

研究の動機と目的

• 高データ速度のリアルタイムストリーム環境における空間的・テキスト的データの処理に不適切な既存のスパーティオテクストインデックスの非効率性を是正すること。
• キーワードの全語彙を事前に把握する必要があるという現在のインデックスの制限を克服し、頻度にかかわらずすべてのキーワードを均等に扱うという点を改善すること。
• 空間的に変化するキーワード頻度と時間的変動するワークロードを考慮した、適応的インデックスシステムの設計。
• 継続的なフィルタクエリの低遅延挿入および検索パフォーマンスを維持しつつ、主記憶使用量を最小限に抑えること。
• ストリーミング環境における数百万件の継続的スパーティオテクストインデックスクエリをスケーラブルかつリアルタイムに処理可能にする。

提案手法

• 空間ドメインを分割し、効率的な空間範囲クエリを可能にする空間ピラミッドを統合する。
• キーワード頻度に応じて最適なインデックス戦略（例：逆インデックスリストやキーワードトライ）を選択する周波数に配慮したテキストインデックスを採用する。
• 有効期限が切れたクエリを削除し、キーワード頻度の変化に適応するために、完全な再構築を伴わずに遅延クリーニングを行う軽量なメカニズムを用いる。
• 重複するクエリセットを持つ空間セル間でテキストインデックス構造を共有することで、メモリオーバーヘッドを削減するセル共有を適用する。
• キーワードの選択性に応じて、各空間セルごとにインデックス構造を動的に調整する。頻度の高いキーワードには効率的な構造を、頻度の低いキーワードには適した構造を優先的に使用する。
• 全語彙の事前知識を避け、新しいクエリが到着する度に段階的にインデックスを構築する。

実験結果

リサーチクエスチョン

• RQ1 高データ速度のリアルタイムストリーミングワークロードにおいて、継続的フィルタクエリを効率的に処理できるスパーティオテクストインデックスはどのように設計できるか？
• RQ2 空間領域ごとのキーワード頻度分布に応じて適応することで、インデックスパフォーマンスはどの程度向上できるか？
• RQ3 既存の最先端インデックスと比較して、大幅に少ないメモリ使用量で性能を維持または向上できる主記憶上インデックスを設計できるか？
• RQ4 キーワードの人気度やワークロード分布の変化に、システムはどのように対応するか？
• RQ5 空間範囲やキーワード数の変動が、インデックス構築およびクエリ処理パフォーマンスに与える影響は何か？

主な発見

• FAST は、最先端の AP-tree インデックスと比較して、主記憶使用量を最大 66% 削減した。
• FAST は、実データおよび合成データの両方で、AP-tree と比較して最大 3 倍の検索性能を達成した。
• FAST は、AP-tree と比較して、クエリ挿入（インデキシング）時間で最大 5 倍の高速化を達成した。
• FAST のパフォーマンス優位性は、空間範囲が全空間ドメインの 0.01% から 10% の範囲で一貫して維持された。
• 2000万件のインデックスクエリにスケーリングした場合でも、FAST は検索およびインデキシング時間の両面で AP-tree を上回った。
• セル共有および周波数に配慮したインデキシング戦略により、FAST はメモリフットプリントを最小限に抑えながら、効率的なスケーリングを実現した。