[论文解读] Modeling Document Interactions for Learning to Rank with Regularized Self-Attention

Shuo Sun, Kevin Duh|arXiv (Cornell University)|May 8, 2020

Topic Modeling参考文献 30被引用 4

一句话总结

本文提出了一种正则化自注意力机制，用于学习排序任务中对文档集合内文档间交互关系的建模，相较于标准神经排序模型，显著提升了排序性能。通过引入有针对性的正则化项来约束注意力权重，模型能够学习到更具意义的文档间交互模式，在LETOR基准数据集上取得了最先进性能。

ABSTRACT

Learning to rank is an important task that has been successfully deployed in many real-world information retrieval systems. Most existing methods compute relevance judgments of documents independently, without holistically considering the entire set of competing documents. In this paper, we explore modeling documents interactions with self-attention based neural networks. Although self-attention networks have achieved state-of-the-art results in many NLP tasks, we find empirically that self-attention provides little benefit over baseline neural learning to rank architecture. To improve the learning of self-attention weights, We propose simple yet effective regularization terms designed to model interactions between documents. Evaluations on publicly available Learning to Rank (LETOR) datasets show that training self-attention network with our proposed regularization terms can significantly outperform existing learning to rank methods.

研究动机与目标

• 为解决现有学习排序模型在计算相关性分数时独立处理文档、未考虑竞争文档的局限性。
• 探究自注意力机制是否能在排序任务中有效建模文档间交互关系。
• 通过引入正则化项，提升自注意力机制在排序任务中的性能，以鼓励文档之间形成更具意义的注意力模式。
• 开发一种自包含的、端到端的学习排序模型，利用文档集合的上下文信息以实现更优的相关性评分。

提出的方法

• 该模型采用基于ListNet的神经网络架构，以一组文档特征向量作为输入，每个向量通过特征函数φ从查询-文档对中提取得到。
• 自注意力层为每个文档计算查询、键和值表示，使注意力权重能够捕捉整个文档集合中各文档之间的相互关系。
• 在损失函数中引入一种新颖的正则化项，以约束注意力权重，通过惩罚无信息量或均匀的注意力模式，促进文档间更合理的交互。
• 正则化项被表述为注意力矩阵偏离均匀分布程度的加权和，以鼓励注意力聚焦于相关文档对。
• 模型通过代理的列表级损失（预测与真实Top-1概率分布之间的交叉熵）进行训练，并引入了额外的正则化项。
• 在推理阶段，模型同时利用完整文档集合的上下文信息，为所有文档计算相关性分数，并根据预测得分进行排序。

实验结果

研究问题

• RQ1 自注意力机制是否能在学习排序任务中有效建模文档间交互关系，超越标准神经模型的性能？
• RQ2 尽管自注意力机制在理论上具备建模交互关系的能力，为何其在标准基准测试中仍未能提升排序性能？
• RQ3 如何设计正则化方法，以引导自注意力机制学习到更具意义的文档间交互模式？
• RQ4 通过正则化自注意力机制引入文档集合上下文信息，是否能在标准信息检索指标（如NDCG和MAP）上带来可测量的性能提升？

主要发现

• 所提出的正则化自注意力模型在Yahoo、MSLR-WEB10K和Istella LETOR数据集上显著优于标准ListNet及其他强基线模型。
• 实证分析表明，未经正则化的自注意力机制学习到的注意力权重接近均匀分布，表明其交互建模能力较差。
• 正则化项有效降低了注意力的均匀性，提升了模型区分相关文档对的能力。
• 该模型在所有三个基准数据集上均达到最先进性能，证明了通过正则化注意力引入文档集合上下文信息的有效性。
• 在NDCG和MAP等多个评估指标上，性能提升保持一致，证实了整体化文档交互建模的优势。