[论文解读] A new approach to relevancy in Internet searching - the "Vox Populi Algorithm"

Andreas Schaale, Carsten Wulf-Mathies+1 more|ArXiv.org|Aug 23, 2003

Web Data Mining and Analysis参考文献 4被引用 4

一句话总结

本文提出了一种名为Vox Populi算法（VPA）的新方法，通过基于用户查询分析动态调整爬虫资源分配，提升搜索引擎的相关性。该方法通过反馈回路建模用户兴趣，利用查询相关性的单调函数动态调整爬虫优先级，从而在不替换现有排名系统的情况下，提升热门且相关的内容检索效果，同时引入一种基于链接排名分布方差的统计方法，用于检测垃圾链接集群。

ABSTRACT

In this paper we will derive a new algorithm for Internet searching. The main idea of this algorithm is to extend the existing algorithms by a component, which reflects the interests of the users more than existing methods. The "Vox Populi Algorithm" (VPA) creates a feedback from the users to the content of the search index. The information derived from the users query analysis is used to modify the existing crawling algorithms. The VPA controls the distribution of the resources of the crawler. Finally, we also discuss methods of suppressing unwanted content (spam).

研究动机与目标

• 解决静态与动态排名算法在捕捉实时用户兴趣方面的局限性。
• 通过将用户行为整合到爬虫资源分配中，提升搜索相关性。
• 开发一种方法，用于检测模仿自然链接增长的人工链接垃圾集群。
• 通过轻量级、自适应的反馈机制，扩展现有爬取与排名系统。

提出的方法

• VPA通过将爬虫资源分配矩阵M与基于用户查询分析得出的相关性校正因子R_VPA相乘，来修改爬虫的资源分配矩阵M。
• R_VPA定义为(1 + α·λ^β)，其中λ表示查询相关性，α和β为可调参数，确保单调性与简洁性。
• 该算法利用用户查询频率和关键词密度来估计文档相关性，整合了动态（基于内容）与静态（基于链接）排名组件。
• 采用统计模型φ(R_s^j) = e^{-(R_s^j - R_0)^2 / σ^2}，分析入站链接排名的分布，以检测不自然的垃圾链接集群。
• 当链接排名的标准差σ低于临界阈值σ_critical时，即判定为垃圾链接集群，从而与来源多样化的自然链接集群区分开来。
• 该方法通过在现有排名系统上扩展反馈驱动组件，而非替换它们，从而保持与现有系统的向后兼容性。

实验结果

研究问题

• RQ1 如何利用用户查询模式来提升大规模网络索引中搜索结果的相关性？
• RQ2 在不破坏现有排名系统的情况下，如何基于实时用户兴趣有效调整爬虫行为？
• RQ3 如何将人工链接垃圾集群与自然增长的链接网络区分开来？
• RQ4 是否可以使用一种简单、参数化的函数，基于查询反馈动态调整爬虫优先级？
• RQ5 链接排名分布的哪些统计特性能可靠地指示垃圾链接与自然链接增长？

主要发现

• VPA校正因子R_VPA确保爬虫资源优先分配给用户查询相关性更高的域名，从而提升热门内容的检索效果。
• 该算法与现有排名系统保持向后兼容，因为当λ→0时，lim_{λ→0} R_VPA = 1，即在用户兴趣较低时无任何调整。
• 垃圾链接集群在入站链接排名上的方差显著更低（σ² ≈ 0.5–0.7），而自然集群的方差较高（σ² ≈ 1.1），从而实现统计检测。
• 该方法成功利用链接排名的标准差，将人工垃圾链接集群与自然增长的链接网络区分开来。
• 通过两个自由参数（α, β）可实现精细调优，使方法能适应本地搜索环境，且不易过拟合。
• 将用户反馈整合到爬取决策中，可显著提升用户感知的相关性，且无需修改核心排名逻辑。