[论文解读] Respect My Authority! HITS Without Hyperlinks, Utilizing Cluster-Based Language Models

Oren Kurland, Lillian Lee|ArXiv.org|Apr 22, 2008

Information Retrieval and Search Behavior参考文献 31被引用 11

一句话总结

本文提出了一种基于HITS的新型重排序方法，通过在二分图中利用文档-聚类关系来提升检索精度。通过使用基于聚类的语言模型对文档和聚类进行建模，使其相互增强，该方法在性能上优于仅基于文档的图结构，并且在识别权威文档和相关聚类方面优于以往的PageRank方法。

ABSTRACT

We present an approach to improving the precision of an initial document ranking wherein we utilize cluster information within a graph-based framework. The main idea is to perform re-ranking based on centrality within bipartite graphs of documents (on one side) and clusters (on the other side), on the premise that these are mutually reinforcing entities. Links between entities are created via consideration of language models induced from them. We find that our cluster-document graphs give rise to much better retrieval performance than previously proposed document-only graphs do. For example, authority-based re-ranking of documents via a HITS-style cluster-based approach outperforms a previously-proposed PageRank-inspired algorithm applied to solely-document graphs. Moreover, we also show that computing authority scores for clusters constitutes an effective method for identifying clusters containing a large percentage of relevant documents.

研究动机与目标

• 通过利用超越直接超链接的结构关系，提升初始文档排序的精度。
• 探究在基于图的排序中引入文档聚类作为辅助实体，是否能够提升HITS的性能。
• 评估聚类权威分是否能有效识别包含大量相关文档的聚类。
• 比较在二分图（文档-聚类）上应用HITS与仅基于文档的图结构及PageRank方法的有效性。
• 评估中心性得分作为查询似然模型中的乘法偏差的实用性。

提出的方法

• 构建一个二分图，一侧为文档，另一侧为聚类，边的权重由聚类与文档之间的语言模型相似度决定。
• 在二分图上应用HITS算法，分别计算文档和聚类的中心性得分（Hub和Authority）。
• 使用基于聚类的语言模型来估计从聚类到文档的相关性证据强度，形成从聚类指向文档的有向边。
• 采用边权重方案，包括平滑插值（λ加权），以提升稳定性和性能。
• 基于文档在文档-聚类图中的HITS权威分对文档进行重排序，并使用标准检索指标评估性能。
• 测试将HITS权威分作为乘法偏差引入查询似然模型，与以往PageRank方法类似。

实验结果

研究问题

• RQ1 与仅基于文档的图相比，将HITS应用于文档与聚类的二分图是否能提升文档重排序的精度？
• RQ2 在HITS框架中，聚类与文档之间的相互增强机制是否能产生优于仅基于文档图的PageRank的检索结果？
• RQ3 聚类权威分是否能有效识别出包含高比例相关文档的聚类？
• RQ4 引入聚类层级结构后，中心性与前几名结果的相关性是否受到影响？
• RQ5 将基于HITS的中心性得分作为查询似然模型中的乘法偏差，是否比直接排序更有效？

主要发现

• 在仅基于文档的图上应用HITS的二分图方法显著优于先前提出的基于PageRank的算法，在前几名结果中实现了更高的精度。
• 在AP语料库上，该方法的平均精度@5达到0.541，在TREC8上为0.544，在WSJ上为0.564，优于基线的PageRank和仅基于文档图的HITS方法。
• 聚类权威分能有效识别出包含高密度相关文档的聚类，证明了该方法在聚类级相关性检测中的实用性。
• 在聚类到文档方向使用λ加权边在某些设置中提升了性能，但原始相似度权重通常表现更优，表明原始聚类-文档相似度更具信息量。
• 当用作查询似然模型的乘法偏差时，来自文档-聚类图的HITS权威分在性能上与基于PageRank的偏差相当或更优，在WSJ语料库上的精度@5达到0.572。
• 结果表明，基于聚类的二分图中的中心性与相关性的相关性强于仅基于文档图的中心性，使其成为更有效的重排序信号。