[论文解读] Monte Carlo Methods for Top-k Personalized PageRank Lists and Name Disambiguation

Konstantin Avrachenkov, Nelly Litvak+3 more|arXiv (Cornell University)|Aug 23, 2010

Data Quality and Management参考文献 26被引用 8

一句话总结

本文提出了一种基于蒙特卡洛的方法，以高效计算top-k个性化PageRank列表，其核心洞察在于：许多应用对top-k结果的近似值（允许轻微误差）已足够。该方法仅需单次幂迭代1–5%的计算成本，即可实现高精度，且已应用于姓名消歧，获得WePS 2010竞赛第二名。

ABSTRACT

We study a problem of quick detection of top-k Personalized PageRank lists. This problem has a number of important applications such as finding local cuts in large graphs, estimation of similarity distance and name disambiguation. In particular, we apply our results to construct efficient algorithms for the person name disambiguation problem. We argue that when finding top-k Personalized PageRank lists two observations are important. Firstly, it is crucial that we detect fast the top-k most important neighbours of a node, while the exact order in the top-k list as well as the exact values of PageRank are by far not so crucial. Secondly, a little number of wrong elements in top-k lists do not really degrade the quality of top-k lists, but it can lead to significant computational saving. Based on these two key observations we propose Monte Carlo methods for fast detection of top-k Personalized PageRank lists. We provide performance evaluation of the proposed methods and supply stopping criteria. Then, we apply the methods to the person name disambiguation problem. The developed algorithm for the person name disambiguation problem has achieved the second place in the WePS 2010 competition.

研究动机与目标

• 开发一种快速、可扩展的方法，用于在大规模图中计算top-k个性化PageRank列表。
• 在保持可接受准确率的前提下，降低计算成本，适用于姓名消歧等应用。
• 利用现实应用对top-k列表中轻微误差的容忍性，实现性能提升。
• 结合Web结构与内容特征，将该方法应用于人名消歧问题。
• 展示蒙特卡洛采样在局部化、近似PageRank计算中相较于传统幂迭代方法的有效性。

提出的方法

• 使用蒙特卡洛随机游走估计个性化PageRank值，仅关注前向链接，以减少存储和预计算需求。
• 基于top-k估计的收敛性设定停止条件，优先考虑速度而非精确度。
• 采用松弛策略，允许top-k列表中存在少量错误元素，而不降低应用质量。
• 结合Web结构（通过个性化PageRank获取top-k相关页面）与内容特征（tf-idf加权投票）进行聚类。
• 使用余弦相似度对基于内容和相关页面生成的特征向量，应用平均-linkage分层聚合聚类（HAC）。
• 采用重加权机制，通过相关页面中的共现关系提升人名页面中词语的得分，降低随机词语带来的噪声影响。

实验结果

研究问题

• RQ1 蒙特卡洛采样能否在保持足够准确率的前提下，显著降低计算top-k个性化PageRank列表的计算成本？
• RQ2 允许少量错误条目的情况下，松弛的top-k列表在多大程度上仍能支持高质量应用（如姓名消歧）？
• RQ3 结合局部Web结构（通过个性化PageRank）与内容特征，在人名消歧中效果如何？
• RQ4 尽管缺少反向链接信息，仅使用随机游走中的前向链接是否仍能生成有意义的top-k列表？
• RQ5 在混合结构-内容聚类流程中，相关页面数量（k）与内容提取策略之间，最优的权衡关系是什么？

主要发现

• 蒙特卡洛方法仅需单次幂迭代1–5%的运算量，即可计算出top-10个性化PageRank列表，平均仅引入2–3个错误条目。
• 该方法在WePS 2010竞赛中获得第二名，F-0.5得分分别为0.71（PPR16）和0.70（PPR8），表现优异。
• 使用k=8相关页面的结果略优于k=16，表明k值增大后收益递减。
• 内容重加权机制通过利用相关页面中的共现关系，有效提升了主题相关词语的权重，改善了特征向量质量。
• 结合Web结构聚类与基于内容的HAC（余弦相似度）方法，在图结构知识有限的情况下，仍能产生稳健的消歧结果。
• 该方法在实践中验证了“80/20法则”：仅用20%的计算投入，即实现了80%的结果质量。