[论文解读] An Attention-Based Deep Net for Learning to Rank

Baiyang Wang, Diego Klabjan|arXiv (Cornell University)|Feb 20, 2017

Advanced Image and Video Retrieval Techniques参考文献 21被引用 10

一句话总结

本文提出一种基于注意力机制的深度神经网络用于学习排序，通过在查询和搜索结果上使用双注意力机制，整合多种嵌入表示（如 word2vec、CBOW、GLOVE），实现灵活的列表级排序。该模型在图像检索和文本查询数据集上达到最先进性能，其中 AttRN-HL 在各项基准测试中表现最为稳健。

ABSTRACT

In information retrieval, learning to rank constructs a machine-based ranking model which given a query, sorts the search results by their degree of relevance or importance to the query. Neural networks have been successfully applied to this problem, and in this paper, we propose an attention-based deep neural network which better incorporates different embeddings of the queries and search results with an attention-based mechanism. This model also applies a decoder mechanism to learn the ranks of the search results in a listwise fashion. The embeddings are trained with convolutional neural networks or the word2vec model. We demonstrate the performance of this model with image retrieval and text querying data sets.

研究动机与目标

• 通过将多种多样化的词嵌入（如 CBOW、skip-gram、GLOVE）整合进神经排序模型，提升学习排序性能。
• 通过注意力机制动态加权不同嵌入表示，以克服单一嵌入模型的局限性。
• 通过解码器机制实现列表级排序，仅通过一次前向传播输出完整的排序结果列表。
• 在多种检索任务（包括文本与图像检索）中验证模型的有效性。
• 通过减少对单一嵌入或模型架构的依赖，提升排序系统的鲁棒性与准确性。

提出的方法

• 采用双注意力机制，在查询和搜索结果上分别应用独立的注意力层，以动态加权不同嵌入表示。
• 将预训练的词嵌入（CBOW、skip-gram、GLOVE）作为输入特征，并在训练过程中保持固定，以维持一致性。
• 使用带有 ReLU 激活函数的多层前馈网络处理查询与文档表示。
• 集成解码器机制，以列表级方式生成最终的排序列表，优化 NDCG 与 MAP 指标。
• 通过循环神经网络（RNN）结构计算注意力权重，实现上下文感知的特征融合。
• 采用监督学习进行模型校准，结合成对与列表级排序目标，通过随机梯度下降最小化排序损失。

实验结果

研究问题

• RQ1 注意力机制能否有效融合多种预训练词嵌入，从而提升信息检索中的排序性能？
• RQ2 在复杂检索任务中，采用解码器机制的列表级排序方法是否优于传统的成对或点对方法？
• RQ3 在查询与结果上分别应用双注意力机制，相比单一嵌入模型，如何增强特征表示能力？
• RQ4 所提出的模型在多种检索领域（如文本与图像检索）中是否具备鲁棒性？
• RQ5 通过注意力机制融合多种嵌入表示，是否能降低模型方差并提升泛化能力，相比仅使用单一嵌入类型？

主要发现

• 在 20 Newsgroups 数据集上，AttRN-SM 的 MAP 误差率最低，为 14.78%，优于 OASIS-1（15.56%）及所有 SVM 与 LambdaMART 基线模型。
• 在 NDCG@3 指标上，AttRN-SM 的误差率为 16.87%，显著低于 OASIS-1（17.83%）与 RSVM-100k（34.62%），表明其排序质量更优。
• 在同一数据集上，AttRN-HL 的 MAP 误差率为 14.79%，NDCG@3 误差率为 16.93%，位列第二，展现出在各项指标上的强鲁棒性。
• 在超类（superclasses）评估（更严格的指标）下，AttRN-HL 的 MAP 误差率仅为 30.19%，优于 OASIS-3（30.15%）及所有 SVM/LambdaMART 变体。
• 该模型在相同数据上持续优于基线方法（如 Ranking SVM 与 LambdaMART），后者表现出更高的误差率（例如 RSVM-20k 的 MAP 误差率为 35.87%）。
• AttRN-HL 被识别为在全部三个数据集上最鲁棒的模型，因此是实际应用的推荐选择。