[论文解读] Learning Groupwise Scoring Functions Using Deep Neural Networks

Qingyao Ai, Xuanhui Wang+3 more|arXiv (Cornell University)|Jan 1, 2019

Information Retrieval and Search Behavior参考文献 38被引用 13

一句话总结

本文提出了广义分组打分函数（GSFs），通过深度神经网络建模文档间的相对相关性，联合确定文档相关性，而非依赖传统的点对点打分函数。在MSLR-WEB30K数据集上的实验表明，该方法在排名性能上显著优于现有方法，包括最先进的树基模型。

ABSTRACT

While in a classification or a regression setting a label or a value is assigned to each individual document, in a ranking setting we determine the relevance ordering of the entire input document list. This difference leads to the notion of relative relevance between documents in ranking. The majority of the existing learning-to-rank algorithms model such relativity at the loss level using pairwise or listwise loss functions. However, they are restricted to pointwise scoring functions, i.e., the relevance score of a document is computed based on the document itself, regardless of the other documents in the list. In this paper, we overcome this limitation by proposing generalized groupwise scoring functions (GSFs), in which the relevance score of a document is determined jointly by groups of documents in the list. We learn GSFs with a deep neural network architecture, and demonstrate that several representative learning-to-rank algorithms can be modeled as special cases in our framework. We conduct evaluation using the public MSLR-WEB30K dataset, and our experiments show that GSFs lead to significant performance improvements both in a standalone deep learning architecture, or when combined with a state-of-the-art tree-based learning-to-rank algorithm.

研究动机与目标

• 解决现有学习排序方法依赖点对点打分函数而忽略文档间相互作用的局限性。
• 通过引入广义分组打分函数（GSFs）来建模文档间的相对相关性，将文档组整体作为考虑对象。
• 证明各种学习排序算法均可在所提出的GSF框架下统一。
• 评估GSFs在独立深度学习模型中的有效性，以及与最先进的树基学习排序算法结合时的性能提升。

提出的方法

• 提出广义分组打分函数（GSFs），其中文档的相关性得分取决于一个文档组，而不仅限于单个文档。
• 设计一种深度神经网络架构，端到端地从输入特征学习GSFs。
• 在GSF框架内将成对排序和列表排序目标作为特例建模，实现与现有学习排序方法的兼容性。
• 使用MSLR-WEB30K数据集进行训练与评估，采用NDCG和MAP等标准排序指标。
• 采用一种损失函数，捕捉文档组之间的相对相关性，从而增强排序的泛化能力。
• 将GSFs与最先进的树基学习排序算法结合，评估混合设置下的性能提升。

实验结果

研究问题

• RQ1 与传统点对点打分方法相比，分组打分函数是否能在深度学习模型中提升排序性能？
• RQ2 在有效性和泛化能力方面，GSFs与现有的成对和列表学习排序方法相比如何？
• RQ3 现有学习排序算法在多大程度上可被表达为所提出的GSF框架下的特例？
• RQ4 将GSFs与最先进的树基模型结合，是否能带来可测量的性能提升？

主要发现

• 在独立的深度学习架构中使用GSFs时，其在MSLR-WEB30K数据集上的排序性能显著提升。
• 所提出的GSF框架可泛化现有学习排序方法，将成对和列表方法作为特例包含在内。
• 当与最先进的树基学习排序算法结合时，GSFs带来了可测量的性能增益。
• 与基线方法相比，该模型在NDCG和MAP指标上均取得更高得分，证明了分组相关性建模的有效性。