[论文解读] Search Result Clustering via Randomized Partitioning of Query-Induced Subgraphs

Aleksandar Bradic|ArXiv.org|Nov 25, 2008

Complex Network Analysis Techniques参考文献 11被引用 7

一句话总结

该论文提出了一种基于查询诱导子图的随机划分算法，用于对搜索结果进行聚类。通过在这些子图上进行随机游走，该方法在显著降低时间和空间复杂度的同时，实现了与确定性方法相当的聚类质量，从而使得在实际搜索引擎中部署成为可能。

ABSTRACT

In this paper, we present an approach to search result clustering, using partitioning of underlying link graph. We define the notion of "query-induced subgraph" and formulate the problem of search result clustering as a problem of efficient partitioning of given subgraph into topic-related clusters. Also, we propose a novel algorithm for approximative partitioning of such graph, which results in cluster quality comparable to the one obtained by deterministic algorithms, while operating in more efficient computation time, suitable for practical implementations. Finally, we present a practical clustering search engine developed as a part of this research and use it to get results about real-world performance of proposed concepts.

研究动机与目标

• 通过利用超链接结构而非仅依赖文档内容，解决高效聚类大规模搜索结果的挑战。
• 克服传统图聚类算法在查询时应用于全网超链接图时所面临的计算和空间限制。
• 通过聚焦于查询特定的子图而非整个网页图，开发一种适用于真实搜索引擎的实用且可扩展的聚类解决方案。
• 证明查询诱导子图保留了全网图的关键结构特性，从而证明其用于聚类的合理性。

提出的方法

• 将查询诱导子图 $G_q = (V_q, E_q)$ 定义为全超链接图的诱导子图，仅包含与查询匹配的节点及其相互之间的超链接。
• 提出一种基于随机游走的随机聚类算法，将查询诱导子图划分为主题相关的聚类。
• 使用参数 $K$（近似系数）来控制聚类质量与计算效率之间的权衡。
• 通过随机游走实现 WALK 阶段，以探索子图并识别密集区域，其期望时间复杂度为 $O(N \log \log N)$，其中 $N$ 为与查询匹配的节点数。
• 应用合并阶段以整合部分聚类，其时间复杂度为高效的 $O(N \log \log N)$。
• 存储邻接表而非完整的邻接矩阵，将空间复杂度降低至 $O(N \log N)$，从而实现可扩展性。

实验结果

研究问题

• RQ1 查询诱导子图是否能保留全网图的关键结构特性，使其适用于聚类？
• RQ2 随机算法是否能在显著更少的时间和空间下实现与确定性方法相当的聚类质量？
• RQ3 近似系数 $K$ 如何影响聚类质量与计算效率之间的权衡？
• RQ4 所提出的方法是否在真实搜索引擎中具备可扩展性和实用性？

主要发现

• 该算法实现了高质量的聚类，顶级聚类的覆盖率超过 0.947，表明聚类内具有强凝聚力且聚类间连接度低。
• 对于查询 'politika'，该算法实现了 0.999 的覆盖率，表明聚类性能接近最优。
• 覆盖率随近似系数 $K$ 的增加呈对数增长，表明即使 $K$ 值较小，也能获得可接受的聚类质量。
• WALK 阶段的期望运行时间为 $O(N \log \log N)$，完整算法的期望运行时间为 $O(N \log \log N)$，空间复杂度为 $O(N \log N)$。
• 该算法的最坏情况时间复杂度为 $O(N^2)$，但通过在 $N$（与查询匹配的节点数）上运行得到缓解，而 $N$ 显著小于全索引大小。
• randomNode 搜索引擎原型成功实现了该算法，并在 110 万个节点的 .yu 网页数据集上展示了其在实际应用中的可行性。