[论文解读] Fast and Exact Top-k Search for Random Walk with Restart

Yasuhiro Fujiwara, Makoto Nakatsuji+2 more|arXiv (Cornell University)|Jan 31, 2012

Caching and Content Delivery参考文献 21被引用 7

一句话总结

本文提出 K-dash，一种用于随机游走带重启（RWR）中精确且高效 top-k 检索的新型算法。它利用稀疏矩阵计算与基于树的邻近度估计的剪枝策略，在保证结果精确的同时实现次线性搜索时间，相比以往的近似方法最快可提升 1,020 倍，且不损失准确性。

ABSTRACT

Graphs are fundamental data structures and have been employed for centuries to model real-world systems and phenomena. Random walk with restart (RWR) provides a good proximity score between two nodes in a graph, and it has been successfully used in many applications such as automatic image captioning, recommender systems, and link prediction. The goal of this work is to find nodes that have top-k highest proximities for a given node. Previous approaches to this problem find nodes efficiently at the expense of exactness. The main motivation of this paper is to answer, in the affirmative, the question, `Is it possible to improve the search time without sacrificing the exactness?'. Our solution, {it K-dash}, is based on two ideas: (1) It computes the proximity of a selected node efficiently by sparse matrices, and (2) It skips unnecessary proximity computations when searching for the top-k nodes. Theoretical analyses show that K-dash guarantees result exactness. We perform comprehensive experiments to verify the efficiency of K-dash. The results show that K-dash can find top-k nodes significantly faster than the previous approaches while it guarantees exactness.

研究动机与目标

• 为在大规模图中通过随机游走带重启（RWR）高效查找与查询节点最相似的 top-k 节点提供解决方案。
• 在不牺牲性能的前提下实现精确结果，打破现有近似 RWR 方法中速度与准确性之间的权衡。
• 消除参数调优的需求，使方法完全自动化且用户友好。
• 将时间和空间复杂度均降低至 O(n + m)，其中 n 为节点数，m 为边数，从而实现在大规模图上的可扩展性。

提出的方法

• K-dash 使用稀疏矩阵表示法高效计算精确的 RWR 邻近度，最大限度减少计算开销。
• 采用一种新颖的重排策略（度序、聚类或混合）以减少逆矩阵中非零元素的数量，提升稀疏性并改善性能。
• 该算法采用基于树的估计技术，在无需完整计算的情况下预测邻近度得分，从而实现对低概率节点的早期剪枝。
• 它动态维护一个候选节点的优先队列，并利用树估计提供的上界，跳过不必要的邻近度计算。
• 该方法预先计算从图划分导出的下三角/上三角矩阵的逆矩阵，加速在线搜索过程。
• 它结合基于 Louvain 方法的划分方案，利用结构局部性，进一步减少跨分区边的计算量。

实验结果

研究问题

• RQ1 能否在不损失准确性的前提下，使精确 top-k RWR 检索速度显著快于现有近似方法？
• RQ2 是否可以设计一种剪枝策略，在保证精确性的同时减少邻近度计算次数？
• RQ3 如何将稀疏矩阵技术与图重排相结合，以最小化 RWR 检索中的时间和空间复杂度？
• RQ4 能否使该方法完全无参数化且全自动，从而消除先前方法中常见的用户调参需求？
• RQ5 该算法在具有不同边分布的多样化真实世界图数据集上的性能可扩展性如何？

主要发现

• 当应用剪枝技术时，K-dash 相较基线方法最快可实现 1,020 倍的加速，显著优于现有近似方法。
• 混合重排策略将逆矩阵中的非零元素数量减少至接近边数，实现 O(m) 的空间复杂度。
• 得益于稀疏性以及跨分区边计算的消除，预计算时间相比随机重排最多减少 140 倍。
• 即使在使用基于估计的剪枝时，该算法仍能保持精确性，确保 top-k 结果中无误报。
• K-dash 在多样化数据集（包括社交网络、引文图和网页图）上均表现出高效的可扩展性，性能提升稳定。
• 该方法无需用户定义参数，完全自动化，适用于真实场景的部署。