[论文解读] Introducing LETOR 4.0 Datasets

Tao Qin, Tieyan Liu|arXiv (Cornell University)|Jun 9, 2013

Advanced Data Processing Techniques被引用 199

一句话总结

LETOR 4.0 为学习排序研究引入了一个新的基准数据集，基于 Gov2 网页数据集和两个 TREC 查询集（MQ2007 和 MQ2008），分别包含约 1,700 个和约 800 个查询。该数据集提供了标准化的特征、相关性判断、数据划分、评估工具和基线模型，是对之前版本的重大升级，旨在支持信息检索领域中先进学习排序的评估与开发。

ABSTRACT

LETOR is a package of benchmark data sets for research on LEarning TO Rank, which contains standard features, relevance judgments, data partitioning, evaluation tools, and several baselines. Version 1.0 was released in April 2007. Version 2.0 was released in Dec. 2007. Version 3.0 was released in Dec. 2008. This version, 4.0, was released in July 2009. Very different from previous versions (V3.0 is an update based on V2.0 and V2.0 is an update based on V1.0), LETOR4.0 is a totally new release. It uses the Gov2 web page collection (~25M pages) and two query sets from Million Query track of TREC 2007 and TREC 2008. We call the two query sets MQ2007 and MQ2008 for short. There are about 1700 queries in MQ2007 with labeled documents and about 800 queries in MQ2008 with labeled documents. If you have any questions or suggestions about the datasets, please kindly email us ([e-mail]). Our goal is to make the dataset reliable and useful for the community.

研究动机与目标

• 为信息检索中的学习排序研究提供一个全新且全面的基准数据集。
• 通过大规模、真实世界的网络数据，支持排序算法的高级评估。
• 基于 Gov2 数据集和 TREC 查询集，完全重新设计，以取代先前版本。
• 通过标准化的特征、相关性判断和评估工具，确保对研究社区的可靠性与可用性。
• 通过支持可复现的研究和学习排序算法之间的公平比较，促进研究进展。

提出的方法

• 该数据集基于包含约 2,500 万个网页的 Gov2 网页数据集构建。
• MQ2007 和 MQ2008 两个查询集分别源自 TREC 2007 和 2008 年的百万查询竞赛。
• 为每个查询检索到的文档提供相关性判断，支持监督学习。
• 采用标准化的数据划分方式，将数据分离为训练集、验证集和测试集，以实现一致的评估。
• 从文档和查询中提取特征，以支持学习排序模型。
• 包含评估工具和基线模型，以支持新算法的直接比较。

实验结果

研究问题

• RQ1 在大规模网络数据集中，学习排序模型在不同查询集上的性能表现如何变化？
• RQ2 标准化的基准数据集在多大程度上能提升学习排序研究的可复现性和公平性？
• RQ3 Gov2 数据集和 TREC 查询集的哪些关键特性使其适合用于基准测试？
• RQ4 不同的特征表示方法和模型架构在此新数据集上的表现如何？
• RQ5 该新数据集在多大程度上支持先进排序算法的开发与评估？

主要发现

• LETOR 4.0 提供了一个大规模、标准化的数据集，MQ2007 包含约 1,700 个查询，MQ2008 包含约 800 个查询，每个查询均配有相关性判断的文档。
• 该数据集基于 Gov2 网页数据集构建，为学习排序系统提供了真实且广泛的测试环境。
• 此次发布包含标准化的特征、数据划分、评估工具和基线模型，以支持一致的评估。
• 该数据集与之前版本相比进行了全面重新设计，不向后兼容，确保了全新且可靠的基准。
• 作者强调社区反馈，并致力于通过持续支持来维护数据集的可靠性与实用性。
• 该数据集公开可用，旨在推动信息检索领域学习排序研究的发展。