[論文レビュー] SWOOP: Top-k Similarity Joins over Set Streams

Willi Mann, Nikolaus Augsten+1 more|arXiv (Cornell University)|Nov 7, 2017

Data Management and Algorithms参考文献 23被引用数 6

ひとこと要約

SWOOPは、スライディングウィンドウモデルを用いてストリーミング集合に対する連続的なトップ-k類似度ジョインを、非常にスケーラブルなアルゴリズムで実現する。新規インデクシングと段階的プルーニングを採用し、候補ペアの証明可能な最小限のストックを維持することで、従来の手法（例：SCase）と比較して最大3桁のスループット向上を達成する。

ABSTRACT

We provide efficient support for applications that aim to continuously find pairs of similar sets in rapid streams of sets. A prototypical example setting is that of tweets. A tweet is a set of words, and Twitter emits about half a billion tweets per day. Our solution makes it possible to efficiently maintain the top-$k$ most similar tweets from a pair of rapid Twitter streams, e.g., to discover similar trends in two cities if the streams concern cities. Using a sliding window model, the top-$k$ result changes as new sets in the stream enter the window or existing ones leave the window. Maintaining the top-$k$ result under rapid streams is challenging. First, when a set arrives, it may form a new pair for the top-$k$ result with any set already in the window. Second, when a set leaves the window, all its pairings in the top-$k$ are invalidated and must be replaced. It is not enough to maintain the $k$ most similar pairs, as less similar pairs may eventually be promoted to the top-$k$ result. A straightforward solution that pairs every new set with all sets in the window and keeps all pairs for maintaining the top-$k$ result is memory intensive and too slow. We propose SWOOP, a highly scalable stream join algorithm that solves these issues. Novel indexing techniques and sophisticated filters efficiently prune useless pairs as new sets enter the window. SWOOP incrementally maintains a stock of similar pairs to update the top-$k$ result at any time, and the stock is shown to be minimal. Our experiments confirm that SWOOP can deal with stream rates that are orders of magnitude faster than the rates of existing approaches.

研究の動機と目的

• 新規セットの到着と古いセットの失効が継続的に行われる高スループットのデータストリームにおいて、正確で最新のトップ-k類似セットペアを維持する課題に対処すること。
• 動的スライディングウィンドウ環境に適用された従来の静的またはバッチベースのトップ-k類似度ジョインアルゴリズムのスケーラビリティの限界を克服すること。
• 各ウィンドウ更新後に再計算を実行しない効率的で段階的なアルゴリズムを設計し、低レイテンシ応答を保証すること。
• 固定しきい値に依存せず、任意の適切に定義された類似度関数をサポートすることで、リアルタイムストリームにおける柔軟で正確な類似度検出を可能にすること。
• 候補ペアのストックを証明可能な最小限に抑えることで、高ストリームレート下でも効率的なリソース利用を実現すること。

提案手法

• 時間幅wのスライディングウィンドウモデルを活用し、類似度ペアの時間的関連性を保証する。
• 新規セットの到着時に効率的に候補ペアを特定できる、トークンベースのポストリストに基づく新規インデクシング構造を導入する。
• 類似度の境界を用いて非有望な候補をプルーニングし、失効したペアの動的置き換えを含む段階的更新により、候補ペアの最小ストックを維持する。
• 類似度関数の適切な定義を採用し、トップ-k結果の正しさと完全性に関する理論的保証を確保する。
• 2つの主要なデータ構造を維持する：1つは類似度順にソートされたものでトップ-kへの効率的アクセスを可能にし、もう1つは失効時刻順にソートされたもので、ストック内ペアの寿命管理を実現する。
• トップ-k設定に適応した、固定しきい値に依存しないプレフィックスフィルターメカニズムを統合し、低類似度ペアの早期プルーニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 頻繁な挿入と失効が繰り返される高スループットのセットストリームにおいて、効率的にスケーリング可能なトップ-k類似度ジョインアルゴリズムを設計できるか？
• RQ2 新しいセットがウィンドウに到着し、既存のセットが失効する際、現在のトップ-k結果が無効化される可能性がある状況でも、アルゴリズムが正しく動作し、低レイテンシを維持できるか？
• RQ3 各ウィンドウ更新後に完全なジョインを再計算しないで、効率的な候補生成を実現するためのインデクシングとプルーニング戦略は何か？
• RQ4 トップ-k結果の正しさを保証しつつ、維持する候補ストックのサイズをどの程度まで最小化できるか？
• RQ5 SCase やバッチベースのトップ-kジョインと比較して、提案手法の性能とメモリ効率はどの程度優れているか？

主な発見

• SWOOPはSCaseベースラインと比較して、最大3桁のスループット向上を達成し、優れたスケーラビリティを示している。
• SWOOPの最大ストックサイズはkとウィンドウサイズに従ってゆっくりと増加し、k=10では1.5×10²、k=1000では6×10³に留まるなど、理論的最悪ケースの上限よりも顕著に低い。
• 実験的結果から、ストックサイズが漸近的挙動O(k·log(∣W∣/k))に従うことが確認され、効率性に関する理論的分析が妥当であることが裏付けられた。
• 新しいセットが以前の知られていたものよりも類似度が高いペアを形成しても、完全な再計算を行わず、段階的な更新により正しさを維持している。
• すべての評価ワークロードにおいて、SWOOPはSCaseおよびナイーブな再処理ベースラインを上回り、特に高ストリームレート下で顕著な性能向上を示している。
• 動的ワークロードに対しても頑健であり、頻繁なウィンドウ更新とペアの失効に対しても、候補ストックの段階的メンテナンスにより効率的に対応している。