[论文解读] Document distance for the automated expansion of relevance judgements for information retrieval evaluation

Diego Mollá, Iman Amini+1 more|arXiv (Cornell University)|Jan 1, 2015

Information Retrieval and Search Behavior被引用 2

一句话总结

本文提出一种基于文档距离的方法，自动扩展有限的相关性判断——主要为正面判断——通过识别语义上相似的文档。在OHSUMED和TREC-8上评估，该方法显著提高了检索评估的可靠性，尤其在初始判断稀少时效果更明显。

ABSTRACT

This paper reports the use of a document distance-based approach to automatically expand the number of available relevance judgements when these are limited and reduced to only positive judgements. This may happen, for example, when the only available judgements are extracted from a list of references in a published review paper. We compare the results on two document sets: OHSUMED, based on medical research publications, and TREC-8, based on news feeds. We show that evaluations based on these expanded relevance judgements are more reliable than those using only the initially available judgements, especially when the number of available judgements is very limited.

研究动机与目标

• 为解决信息检索评估中相关性判断有限的问题，特别是当仅有正面判断可用时。
• 在可用相关性判断数量极少时，提升检索系统评估的可靠性。
• 探讨文档距离技术是否能有效生成额外且有意义的相关性判断。
• 评估扩展判断对检索评估指标稳健性和准确性的影响力。

提出的方法

• 利用文档距离度量识别与已知相关性判断文档语义上相似的文档。
• 使用文档之间的相似度分数，推断先前未标记文档的新相关性判断。
• 通过将语义空间中与正面判断文档相近的文档赋予相关性，扩展初始相关性判断集。
• 将该方法应用于两个基准数据集：OHSUMED（医学研究）和TREC-8（新闻信息流）。
• 通过将使用扩展判断的检索性能指标与仅使用原始判断的基线评估进行比较，来评估扩展判断的效果。
• 使用标准信息检索评估指标，基于扩展判断集与原始判断集的结果可靠性进行评估。

实验结果

研究问题

• RQ1 文档距离技术能否从少量初始正面判断中有效推断出额外的相关性判断？
• RQ2 与原始稀疏判断相比，使用扩展相关性判断后，检索评估的可靠性如何提升？
• RQ3 在不同文档集合（如医学和新闻类语料）中，扩展判断带来的性能提升是否存在差异？
• RQ4 该方法在多大程度上缓解了极少数相关数据下评估固有的偏差与不稳定性？

主要发现

• 基于扩展相关性判断的评估结果比仅使用初始可用判断的评估更具可靠性。
• 当初始相关性判断数量极少时，评估可靠性的提升最为显著。
• 该方法成功利用语义相似性扩展了相关性判断，增强了判断集的代表性。
• 该方法在OHSUMED和TREC-8上均表现出一致的优势，表明其在多样化文档集合中具有广泛适用性。
• 使用文档距离实现了相关数据的有意义扩展，且无需人工标注。