[论文解读] Deep Relevance Ranking Using Enhanced Document-Query Interactions

Ryan McDonald, Georgios-Ioannis Brokos+1 more|arXiv (Cornell University)|Sep 5, 2018

Topic Modeling参考文献 37被引用 16

一句话总结

该论文提出了一种增强的深度相关性排序模型，将上下文敏感的词元编码与多视角交互机制整合进深度相关性匹配模型（drmm），实现端到端训练并利用丰富的上下文表示。所提出的模型，包括支持多视角输入的 abel-drmm 和 posit-drmm，在 BioASQ 和 TREC Robust 2004 上优于 BM25、drmm 和 PACRR，实现了显著的平均平均精度（MAP）和 nDCG 提升，达到当前最优性能。

ABSTRACT

We explore several new models for document relevance ranking, building upon the Deep Relevance Matching Model (DRMM) of Guo et al. (2016). Unlike DRMM, which uses context-insensitive encodings of terms and query-document term interactions, we inject rich context-sensitive encodings throughout our models, inspired by PACRR's (Hui et al., 2017) convolutional n-gram matching features, but extended in several ways including multiple views of query and document inputs. We test our models on datasets from the BIOASQ question answering challenge (Tsatsaronis et al., 2015) and TREC ROBUST 2004 (Voorhees, 2005), showing they outperform BM25-based baselines, DRMM, and PACRR.

研究动机与目标

• 通过将上下文敏感表示引入传统的使用上下文无关词元编码的 drmm 框架，提升文档相关性排序性能。
• 通过设计可微分的交互机制，实现深度相关性模型的端到端训练，支持丰富的上下文嵌入。
• 研究多种视角——上下文敏感、上下文无关和精确匹配——对查询-文档词元交互建模的影响。
• 在生物医学和通用领域检索基准上评估所提模型，展示其相对于强基线模型的性能提升。
• 通过注意力可视化与消融研究，分析上下文敏感编码与多视角表示的贡献。

提出的方法

• 引入多视角词元编码：通过 CNN/RNN 实现的上下文敏感编码、预训练嵌入实现的上下文无关编码，以及用于查询和文档词元的精确匹配表示。
• 采用受 PACRR 启发的可微分卷积 n-gram 匹配特征，并扩展以支持上下文敏感表示。
• 应用以查询为中心的注意力机制，学习文档感知的查询词元表示，增强相关性建模。
• 使用最大池化和平均 k-最大池化，将丰富的词元表示转换为固定宽度向量，强调密集词元匹配。
• 集成门控机制，根据词元重要性加权查询词元得分，保留文档感知的相关性估计。
• 采用端到端训练与反向传播，实现上下文敏感编码与交互层的联合优化。

实验结果

研究问题

• RQ1 与上下文无关表示相比，上下文敏感词元编码是否能在深度学习模型中显著提升相关性排序性能？
• RQ2 多种查询-文档交互视角（上下文敏感、上下文无关、精确匹配）如何影响模型性能与泛化能力？
• RQ3 可微分交互机制在多大程度上支持使用丰富上下文嵌入的深度相关性模型的有效端到端训练？
• RQ4 基于注意力的文档表示与池化策略如何增强词元匹配密度与相关性的建模？
• RQ5 上下文敏感编码与辅助特征（如 BM25）相比，在提升模型性能方面的相对贡献如何？

主要发现

• 所提出的 posit-drmm+mv 模型在 BioASQ 开发集上达到 48.1 的平均平均精度（MAP），显著优于 BM25（43.7）和原始 drmm（42.5）。
• abel-drmm+mv 在 BioASQ 上取得 47.6 的 MAP，若移除上下文敏感编码，性能下降至 46.3，证明其关键作用。
• 在 TREC Robust 2004 上，posit-drmm+mv 达到 MAP 0.428 和 nDCG@20 0.612，优于 BM25 和 PACRR，且提升具有统计显著性。
• 消融研究显示，移除上下文敏感编码会使 posit-drmm 的 MAP 下降 1.3 个百分点（从 48.1 降至 47.0），证实其重要性。
• 注意力得分的可视化表明，即使在缺乏精确匹配的情况下，上下文敏感表示也能更好地捕捉语义对齐。
• 采用多视角输入（mv）的模型在两个数据集上均一致优于单视角变体，在 MAP 和 nDCG@20 上均取得统计显著提升。