[论文解读] CSFCube -- A Test Collection of Computer Science Research Articles for Faceted Query by Example

Sheshera Mysore, Tim O’Gorman+2 more|arXiv (Cornell University)|Mar 23, 2021

Topic Modeling被引用 8

一句话总结

本文介绍了 CSFCube，这是一个由人工标注的测试集，包含50篇计算机科学研究论文的摘要，用于科学文献检索中的分面查询示例（QBE）。该数据集支持对模型进行评估，这些模型可基于特定修辞面（如目标、方法或结果）检索与查询论文相似的论文，采用分级相关性判断并具有较高的标注者间一致性，揭示了当前最先进模型在该任务上存在显著的性能差距。

ABSTRACT

Query by Example is a well-known information retrieval task in which a document is chosen by the user as the search query and the goal is to retrieve relevant documents from a large collection. However, a document often covers multiple aspects of a topic. To address this scenario we introduce the task of faceted Query by Example in which users can also specify a finer grained aspect in addition to the input query document. We focus on the application of this task in scientific literature search. We envision models which are able to retrieve scientific papers analogous to a query scientific paper along specifically chosen rhetorical structure elements as one solution to this problem. In this work, the rhetorical structure elements, which we refer to as facets, indicate objectives, methods, or results of a scientific paper. We introduce and describe an expert annotated test collection to evaluate models trained to perform this task. Our test collection consists of a diverse set of 50 query documents in English, drawn from computational linguistics and machine learning venues. We carefully follow the annotation guideline used by TREC for depth-k pooling (k = 100 or 250) and the resulting data collection consists of graded relevance scores with high annotation agreement. State of the art models evaluated on our dataset show a significant gap to be closed in further work. Our dataset may be accessed here: https://github.com/iesl/CSFCube

研究动机与目标

• 为解决科学文献中基于关键词的检索存在的局限性，即文档涵盖多个方面，用户需要对检索结果进行更细粒度的控制。
• 形式化分面查询示例（QBE）任务，用户指定一个查询文档以及一个具体的修辞面（如方法或结果）以进行检索。
• 创建一个高质量、专家标注的测试集，以实现对分面QBE模型的可靠评估，克服对噪声代理（如引用）或昂贵的人工评估的依赖。
• 支持基于科学文本的上下文相关文档相似性、审稿人分配、思想溯源和因果推断等研究。

提出的方法

• 该数据集包含来自机器学习和计算语言学会议的50篇多样化的研究论文摘要，选题覆盖广泛的主题和修辞结构。
• 针对每篇查询论文，人工选择三个修辞面——背景/目标、方法和结果——作为查询点，形成150个唯一的查询-面组合。
• 通过S2ORC语料库（约80万篇论文）中使用多种检索方法构建候选文档池，规模为100篇或250篇，确保涵盖相关但不明显的匹配项。
• 四位具有研究经验的计算机科学研究生级标注员使用深度k池化策略（k = 100或250）对每个候选论文在与查询-面组合的相关性上进行评分。
• 采用分级相关性评分（0–3分），并遵循TREC指南以确保评估的稳健性，标注者间一致性较高。
• 该数据集已公开发布于 https://github.com/iesl/CSFCube，供训练和评估分面QBE模型使用。

实验结果

研究问题

• RQ1 当前最先进模型在基于特定修辞面（如方法或结果）检索与查询论文相似的论文方面表现如何？
• RQ2 在科学文献的分面QBE任务中，当前模型与人类相关性判断之间存在多大的性能差距？
• RQ3 基于引用或关键词的代理信号在多大程度上能有效反映科学文档检索中的人工标注相关性？
• RQ4 标准化的、专家标注的测试集在提升科学搜索中分面QBE模型的开发与比较方面是否具有显著作用？

主要发现

• CSFCube数据集包含150个源自50篇专家标注的研究论文摘要的查询-面组合，具有分级相关性评分和高标注一致性。
• 在CSFCube上评估的最先进模型与人工标注者相比表现出显著的性能差距，表明分面QBE仍有巨大改进空间。
• 该数据集表明，基于引用或关键词的信号不足以作为细粒度分面对应相似性的代理，这一结论在附录D中有分析支持。
• 采用深度k池化（k = 100或250）可确保候选文档池的多样性和全面性，从而提升评估的稳健性。
• 该数据集已公开发布于 https://github.com/iesl/CSFCube，支持未来模型的可重现评估与基准测试。