[论文解读] Modeling Label Ambiguity for Neural List-Wise Learning to Rank

Rolf Jagerman, Julia Kiseleva+1 more|arXiv (Cornell University)|Jul 24, 2017

Machine Learning and Algorithms参考文献 14被引用 6

一句话总结

本文提出ListPL，一种用于神经列表级排序学习的新损失函数，通过从Plackett-Luce分布中采样来建模标签模糊性。通过考虑具有相同相关性标签的文档可互换的事实，ListPL提升了泛化能力，在MSLR-WEB10K数据集上显著优于ListNet和ListMLE，p值分别为0.00078和0.00218。

ABSTRACT

List-wise learning to rank methods are considered to be the state-of-the-art. One of the major problems with these methods is that the ambiguous nature of relevance labels in learning to rank data is ignored. Ambiguity of relevance labels refers to the phenomenon that multiple documents may be assigned the same relevance label for a given query, so that no preference order should be learned for those documents. In this paper we propose a novel sampling technique for computing a list-wise loss that can take into account this ambiguity. We show the effectiveness of the proposed method by training a 3-layer deep neural network. We compare our new loss function to two strong baselines: ListNet and ListMLE. We show that our method generalizes better and significantly outperforms other methods on the validation and test sets.

研究动机与目标

• 解决排序学习中的标签模糊性问题，即多个文档共享相同的相关性标签，导致它们之间的偏好学习无意义。
• 克服现有列表级方法（如ListNet和ListMLE）的局限性，这些方法要么忽略模糊性，要么做出过于简化的假设。
• 开发一种高效、可微分的采样机制，将模糊性整合到神经列表级模型的训练目标中。
• 通过避免对真实世界LTR数据集中噪声或模糊的标注过拟合，提升模型的泛化能力。
• 提供一个公开可用的、支持GPU加速的实现，以促进未来在神经列表级排序学习领域的研究。

提出的方法

• 提出一种改进的损失函数ListPL，通过在文档排序上从Plackett-Luce分布中采样来建模标签模糊性。
• 利用从Plackett-Luce分布中进行的随机采样，为每个查询生成多样且合理的排序，反映相关性标签中的模糊性。
• 将基于采样的损失集成到一个3层全连接神经网络中，保持计算效率。
• 在MSLR-WEB10K数据集上使用ADAM优化器，学习率为10^-5，训练1000个周期。
• 通过利用Plackett-Luce分布的对数似然，确保损失可微分并兼容反向传播。
• 使用Chainer（一种支持GPU加速的深度学习框架）实现该方法，并以MIT许可证发布源代码。

实验结果

研究问题

• RQ1 列表级神经排序学习模型能否有效处理相关性评分中的标签模糊性？
• RQ2 与标准列表级损失相比，从Plackett-Luce分布中采样如何提升泛化能力？
• RQ3 建模模糊性是否能在nDCG@10等标准评估指标上带来更好的性能？
• RQ4 所提出的方法能否在保持计算效率的同时超越强大的基线模型（如ListNet和ListMLE）？
• RQ5 在标准基准的验证集和测试集上，性能提升是否具有统计显著性？

主要发现

• 在MSLR-WEB10K测试集上，ListPL显著优于ListNet和ListMLE，双尾t检验的p值分别为0.00078和0.00218。
• 性能提升在验证集和测试集上最为明显，表明ListPL的泛化能力优于基线模型。
• ListPL避免了对标签模糊性的过拟合，表现为在100个周期后性能稳定，而ListNet和ListMLE在100个周期后性能下降。
• 该方法在训练过程中保持高性能，与ListNet相似，但在未见数据上的泛化能力超越两者。
• 使用ReLU激活函数的3层全连接网络实现了最佳性能，更深的网络带来的增益可忽略不计。
• ListPL的源代码已公开发布在GitHub上，采用MIT许可证，支持可复现性和未来研究。