[论文解读] Entity Set Search of Scientific Literature: An Unsupervised Ranking Approach

Jiaming Shen, Jinfeng Xiao+4 more|arXiv (Cornell University)|Apr 29, 2018

Topic Modeling参考文献 35被引用 9

一句话总结

本文提出 SetRank，一种用于科学文献的无监督排序框架，通过异质查询图与图覆盖技术，对生物医学和计算机科学研究中常见的实体集查询中的实体间关系与实体类型进行建模。在 TREC Genomics 和 Semantic Scholar 数据集上的评估表明，SetRank 在实体集查询上显著优于无监督基线模型，其基于加权排名聚合的模型选择方法可在无需标注数据的情况下实现有效的超参数调优。

ABSTRACT

Literature search is critical for any scientific research. Different from Web or general domain search, a large portion of queries in scientific literature search are entity-set queries, that is, multiple entities of possibly different types. Entity-set queries reflect user's need for finding documents that contain multiple entities and reveal inter-entity relationships and thus pose non-trivial challenges to existing search algorithms that model each entity separately. However, entity-set queries are usually sparse (i.e., not so repetitive), which makes ineffective many supervised ranking models that rely heavily on associated click history. To address these challenges, we introduce SetRank, an unsupervised ranking framework that models inter-entity relationships and captures entity type information. Furthermore, we develop a novel unsupervised model selection algorithm, based on the technique of weighted rank aggregation, to automatically choose the parameter settings in SetRank without resorting to a labeled validation set. We evaluate our proposed unsupervised approach using datasets from TREC Genomics Tracks and Semantic Scholar's query log. The experiments demonstrate that SetRank significantly outperforms the baseline unsupervised models, especially on entity-set queries, and our model selection algorithm effectively chooses suitable parameter settings.

研究动机与目标

• 为解决现有系统在处理反映用户对实体间关系兴趣的实体集查询时表现不佳的问题，提升科学文献的排序效果。
• 开发一种无监督排序模型，无需依赖标注的相关性数据，即可捕捉实体间关系与实体类型。
• 设计一种模型选择策略，仅利用点击反馈自动调优 SetRank 的超参数，避免对昂贵标注验证集的依赖。
• 在真实世界科学文献数据集上评估该框架，并证明其在检索与整个实体集相关文档方面的有效性。

提出的方法

• SetRank 构建异质查询图，以表示查询中实体类型与实体间关系，编码用户的资讯需求。
• 利用外部知识库将查询与文档中的实体提及链接到规范实体，实现类型感知的表示。
• 文档通过词袋与实体袋模型进行表示，每种模型均通过语言模型进行匹配。
• 将查询-文档匹配形式化为图覆盖问题，其中相关性得分对应于文档对查询图信息的覆盖程度。
• 提出一种新颖的无监督模型选择算法，通过点击反馈的加权排名聚合，选择 SetRank 的最优超参数。
• 将该框架集成至冷启动文献搜索系统中，并在涉及基因集与疾病关联的真实生物医学查询上进行评估。

实验结果

研究问题

• RQ1 无监督排序模型能否有效捕捉涉及多种类型实体的科学文献查询中的实体间关系？
• RQ2 在无法获取标注相关性判断的情况下，如何对这类模型进行超参数调优？
• RQ3 与基线无监督模型相比，建模实体类型与关系是否能显著提升实体集查询的排序质量？
• RQ4 基于加权排名聚合的所提模型选择方法是否能仅利用点击数据可靠地识别最优参数设置？

主要发现

• SetRank 在实体集查询上显著优于基线无监督模型，在 S2 基准测试中，NDCG@20 达到 0.4011，而基线为 0.3622。
• 在 TREC Genomics 数据集上，SetRank 相较于最佳基线模型，在 NDCG@10 上实现了 15.8% 的相对提升，表明其在复杂实体集查询中具有强大有效性。
• 所提出的基于加权排名聚合的无监督模型选择算法成功识别出高性能参数设置，且无需标注数据，经消融实验验证。
• 在一次真实生物医学案例研究中，SetRank 检索出五篇与阿尔茨海默病及基因关联高度相关的论文，均讨论了查询中的多个基因，而 PubMed 经手动查询重构后仅返回一篇高度相关结果。
• SetRank 返回的前两篇论文覆盖了查询集中六个不同的基因，表明其对完整实体集的覆盖程度优于竞争系统。