[论文解读] Learning to Match Using Local and Distributed Representations of Text for Web Search

Bhaskar Mitra, Fernando Díaz+1 more|arXiv (Cornell University)|Oct 25, 2016

Topic Modeling被引用 39

一句话总结

本文提出了一种双神经网络架构，称为“二重奏”（duet）模型，该模型联合学习用于网页搜索中查询-文档匹配的局部（精确词匹配）和分布式（基于词嵌入）表示。通过在一个端到端可训练的单一模型中结合这两种表示，该模型在网页排名任务中显著优于单一模型和传统基线模型。

ABSTRACT

Models such as latent semantic analysis and those based on neural embeddings learn distributed representations of text, and match the query against the document in the latent semantic space. In traditional information retrieval models, on the other hand, terms have discrete or local representations, and the relevance of a document is determined by the exact matches of query terms in the body text. We hypothesize that matching with distributed representations complements matching with traditional local representations, and that a combination of the two is favorable. We propose a novel document ranking model composed of two separate deep neural networks, one that matches the query and the document using a local representation, and another that matches the query and the document using learned distributed representations. The two networks are jointly trained as part of a single neural network. We show that this combination or `duet' performs significantly better than either neural network individually on a Web page ranking task, and also significantly outperforms traditional baselines and other recently proposed models based on neural networks.

研究动机与目标

• 解决仅依赖局部词匹配或分布式词嵌入之一在文档排序中的局限性。
• 探究结合局部和分布式表示是否能提升网页搜索中的相关性匹配效果。
• 开发一种联合学习框架，利用两种表示类型以提升排序性能。
• 在点击数据有限的真实网页排名任务中评估模型的有效性。

提出的方法

• 该模型使用两个独立的深度神经网络：一个用于基于精确词匹配的局部表示，另一个用于使用学习到的词嵌入的分布式表示。
• 每个网络在其对应的表示空间中通过匹配查询和文档表示来计算相关性得分。
• 两个网络作为单一端到端神经网络的一部分进行联合训练，以优化排序性能。
• 最终的排序得分是两个网络输出的加权组合。
• 该模型使用带有相关性判断的标注查询-文档对进行训练，以NDCG为优化目标。
• 该方法在真实世界的网页搜索数据集上进行评估，并通过消融研究分析各组件的贡献。

实验结果

研究问题

• RQ1 结合局部和分布式表示是否能显著优于单独使用任一表示的文档排序效果？
• RQ2 联合训练的双分支网络架构是否能超越传统IR模型（如BM25）？
• RQ3 各个组件（局部与分布式）对整体性能的贡献如何？
• RQ4 在长文档排序任务中，该二重奏模型是否比单分支神经网络具有更好的泛化能力？

主要发现

• 二重奏模型在网页排名任务中显著优于单独的局部网络和分布式网络。
• 二重奏模型在传统基线模型（如BM25和语言模型方法）上实现了显著改进。
• 该模型在相同基准测试中也优于其他近期基于神经网络的模型，包括DSSM和CDSSM。
• 消融研究显示，局部和分布式组件对性能均有独特贡献，且组合使用效果最佳。
• 该模型展现出强大的泛化能力，表明在更大规模标注数据集上可能获得更大的性能提升。