[论文解读] When Hashes Met Wedges: A Distributed Algorithm for Finding High Similarity Vectors

Aneesh Sharma, C. Seshadhri+1 more|arXiv (Cornell University)|Mar 3, 2017

Stochastic Gradient Optimization Techniques参考文献 43被引用 4

一句话总结

WHIMP 是一种分布式算法，通过结合楔形采样（wedge sampling）与 SimHash，高效地在大规模网络中查找高余弦相似度的向量对，实现了在低阈值（例如 τ=0.2）下的可扩展相似度搜索。该算法实现了接近最优的通信开销，并在包含数十亿条边的图（包括完整的 Twitter 网络）上准确识别出相似的用户对。

ABSTRACT

Finding similar user pairs is a fundamental task in social networks, with numerous applications in ranking and personalization tasks such as link prediction and tie strength detection. A common manifestation of user similarity is based upon network structure: each user is represented by a vector that represents the user's network connections, where pairwise cosine similarity among these vectors defines user similarity. The predominant task for user similarity applications is to discover all similar pairs that have a pairwise cosine similarity value larger than a given threshold $τ$. In contrast to previous work where $τ$ is assumed to be quite close to 1, we focus on recommendation applications where $τ$ is small, but still meaningful. The all pairs cosine similarity problem is computationally challenging on networks with billions of edges, and especially so for settings with small $τ$. To the best of our knowledge, there is no practical solution for computing all user pairs with, say $τ= 0.2$ on large social networks, even using the power of distributed algorithms. Our work directly addresses this challenge by introducing a new algorithm --- WHIMP --- that solves this problem efficiently in the MapReduce model. The key insight in WHIMP is to combine the "wedge-sampling" approach of Cohen-Lewis for approximate matrix multiplication with the SimHash random projection techniques of Charikar. We provide a theoretical analysis of WHIMP, proving that it has near optimal communication costs while maintaining computation cost comparable with the state of the art. We also empirically demonstrate WHIMP's scalability by computing all highly similar pairs on four massive data sets, and show that it accurately finds high similarity pairs. In particular, we note that WHIMP successfully processes the entire Twitter network, which has tens of billions of edges.

研究动机与目标

• 为解决在大规模社交网络中计算所有向量对余弦相似度时的可扩展性挑战，尤其是在相似度阈值较低但仍有意义的情况下（例如 τ=0.2）。
• 设计一种实用的分布式算法，高效发现所有相似用户对，而无需依赖启发式方法或高内存开销。
• 在 MapReduce 模型中降低通信与计算开销，同时保持相似度检测的高精确率与高召回率。
• 实现在真实世界网络（如包含数十亿条边的完整 Twitter 图）上的可扩展相似度搜索。

提出的方法

• 结合 Cohen-Lewis 的楔形采样与 Charikar 的 SimHash，以高效估计高相似度向量对。
• 为每个向量使用单个 SimHash 摩特（sketch），生成候选对，从而减少多轮采样的需求。
• 采用两阶段流程：第一阶段，楔形采样生成候选对；第二阶段，SimHash 进行过滤与验证，确认高相似度匹配。
• 将楔形采样数量设为 s = 50/τ，以确保充分集中性，并实现精确率与召回率 > 0.8。
• 利用每个楔形采样仅处理一次且仅在满足 SimHash 条件时才输出的特性，最大限度减少冗余计算。
• 将 shuffle 成本在两个阶段间平均分配，与原始楔形采样相比，显著降低了总通信开销。

实验结果

研究问题

• RQ1 在大规模网络中，是否能通过分布式算法高效计算所有余弦相似度 ≥ τ 的向量对，其中 τ 较小（例如 0.2）？
• RQ2 如何结合楔形采样与 SimHash，以降低相似度搜索中的通信与计算开销？
• RQ3 所提方法的理论通信开销是多少？与现有方法相比有何差异？
• RQ4 该算法能否扩展到真实世界网络（如包含数十亿条边的完整 Twitter 图）？
• RQ5 在实际应用中，该方法的准确性如何，特别是在低相似度阈值下的精确率与召回率？

主要发现

• WHIMP 顺利处理了包含数十亿条边的完整 Twitter 网络，展示了其在大规模场景下的可扩展性。
• 当 τ = 0.2 时，WHIMP 在 s = 50/τ 个楔形采样下，精确率与召回率均超过 0.8，证实了其在低相似度阈值下的鲁棒性。
• 该算法将 shuffle 成本降低至约 160 × ||A^T A||_1 / τ，显著低于原始楔形采样，尤其在低 τ 时优势明显。
• 实验结果表明，WHIMP 可靠地找到了绝大多数用户超过 70% 的 0.2 相似度用户对。
• 对 Twitter 的案例研究显示，该算法能检索出可解释且有意义的相似用户，如会议账号、研究人员及高影响力人物。
• 在 τ=0.2 时，基于 LSH 的方法存储需求估计达 26,000 TB（针对 10 亿用户），因此不可行——凸显了 WHIMP 的实际优势。