[论文解读] SWOOP: Top-k Similarity Joins over Set Streams

Willi Mann, Nikolaus Augsten+1 more|arXiv (Cornell University)|Nov 7, 2017

Data Management and Algorithms参考文献 23被引用 6

一句话总结

SWOOP 提出了一种高度可扩展的算法，用于在基于滑动窗口模型的流式集合上进行连续的 top-k 相似性连接。它采用新颖的索引结构和增量剪枝策略，仅维护一个可证明最小的候选对集合，与 SCase 等先前方法相比，吞吐量最高提升了三个数量级。

ABSTRACT

We provide efficient support for applications that aim to continuously find pairs of similar sets in rapid streams of sets. A prototypical example setting is that of tweets. A tweet is a set of words, and Twitter emits about half a billion tweets per day. Our solution makes it possible to efficiently maintain the top-$k$ most similar tweets from a pair of rapid Twitter streams, e.g., to discover similar trends in two cities if the streams concern cities. Using a sliding window model, the top-$k$ result changes as new sets in the stream enter the window or existing ones leave the window. Maintaining the top-$k$ result under rapid streams is challenging. First, when a set arrives, it may form a new pair for the top-$k$ result with any set already in the window. Second, when a set leaves the window, all its pairings in the top-$k$ are invalidated and must be replaced. It is not enough to maintain the $k$ most similar pairs, as less similar pairs may eventually be promoted to the top-$k$ result. A straightforward solution that pairs every new set with all sets in the window and keeps all pairs for maintaining the top-$k$ result is memory intensive and too slow. We propose SWOOP, a highly scalable stream join algorithm that solves these issues. Novel indexing techniques and sophisticated filters efficiently prune useless pairs as new sets enter the window. SWOOP incrementally maintains a stock of similar pairs to update the top-$k$ result at any time, and the stock is shown to be minimal. Our experiments confirm that SWOOP can deal with stream rates that are orders of magnitude faster than the rates of existing approaches.

研究动机与目标

• 解决在高吞吐量数据流中持续维护准确且最新的 top-k 相似集合对的挑战，其中新集合不断到达，旧集合持续过期。
• 克服现有静态或批处理式 top-k 相似性连接算法在动态滑动窗口环境中应用时的可扩展性限制。
• 设计一种高效且增量式的算法，避免在每次窗口更新后重新计算整个 top-k 结果，确保低延迟响应。
• 支持任意行为良好的相似度函数，无需依赖固定阈值，从而实现实时流中灵活且准确的相似度检测。
• 通过仅维护一个可证明最小的候选对集合，最大限度减少内存使用，确保在高流速下高效利用资源。

提出的方法

• 利用滑动窗口模型，仅考虑时间窗口长度为 w 内的集合，确保相似性对的时间相关性。
• 提出一种基于标记（token-based）倒排列表的新型索引结构，高效识别新集合到达时的候选对，实现快速相似度剪枝。
• 通过动态替换过期对并利用相似度边界剪枝无希望的候选对，对候选对集合实施增量更新，以维持最小集合。
• 采用具有良好行为特性的相似度函数定义，确保 top-k 结果在正确性和完备性方面具有理论保障。
• 维护两个关键数据结构：一个按相似度排序以实现高效的 top-k 访问，另一个按过期时间排序以管理候选对在集合中的生命周期。
• 集成一种适用于 top-k 场景的前缀过滤机制，实现对低相似度对的早期剪枝，且不依赖固定阈值。

实验结果

研究问题

• RQ1 能否设计一种 top-k 相似性连接算法，在高吞吐量集合流中频繁插入和过期的情况下实现高效可扩展？
• RQ2 当新集合进入窗口且现有集合过期时，如何在可能使当前 top-k 结果失效的情况下，保持算法的正确性和低延迟？
• RQ3 何种索引和剪枝策略能够实现在不重新计算整个连接结果的前提下高效生成候选对？
• RQ4 在保证 top-k 结果正确性的前提下，可维护的候选对集合大小最多能减小到何种程度？
• RQ5 与 SCase 和批处理式 top-k 连接等最先进方法相比，所提算法在性能和内存效率方面表现如何？

主要发现

• SWOOP 相较于 SCase 基线，流处理吞吐量最高提升了三个数量级，展现出卓越的可扩展性。
• SWOOP 的最大候选对集合大小随 k 和窗口大小的增长而缓慢增加，在 k=10 时仅为 1.5×10²，在 k=1000 时为 6×10³，远低于理论最坏情况边界。
• 实验结果证实，候选对集合大小遵循渐近行为 O(k·log(∣W∣/k))，验证了效率的理论分析。
• 通过增量更新 top-k 结果而无需完整重算，算法保持了正确性，即使新集合形成了比之前已知更相似的配对。
• 在所有评估的工作负载中，SWOOP 均优于 SCase 和朴素重处理基线，尤其在高流速下性能提升最为显著。
• 该方法对动态工作负载具有鲁棒性，通过候选对集合的增量维护，高效处理频繁的窗口更新和配对过期。