[论文解读] An Updated Duet Model for Passage Re-ranking

Bhaskar Mitra, Nick Craswell|arXiv (Cornell University)|Mar 18, 2019

Topic Modeling参考文献 22被引用 34

一句话总结

本论文提出 Duet v2，是一个更新的神经通道重新排序模型，集成简单修改（IDF 加权交互、词嵌入、ReLU 激活，以及与袋装的 MLP 融合），通过消融实验在 MS MARCO 上展示了性能提升。

ABSTRACT

We propose several small modifications to Duet---a deep neural ranking model---and evaluate the updated model on the MS MARCO passage ranking task. We report significant improvements from the proposed changes based on an ablation study.

研究动机与目标

• 促成对 Duet 神经排序模型在 MS MARCO 段落排序上的改进。
• 提出简单的架构和输入表征变更以提升性能和训练效率。
• 通过消融研究量化每个修改的影响，并与先进的非 BERT 基线进行比较。

提出的方法

• 将字符级 n-图编码替换为分布子模型中的词嵌入以加速训练。
• 将 IDF 加权引入本地交互矩阵以强调辨识度高的查询词。
• 将 Tanh 替换为 ReLU 激活以实现更快的训练和潜在的性能提升。
• 使用多层感知机来联合融合本地与分布子模型的向量输出（而不是单一标量组合）。
• 通过对不同种子和数据样本训练多个 Duet v2 模型来进行袋装以对预测进行集成。
• 使用三元组（q, p+, p−）上的交叉熵损失进行训练，采用 Adam 优化器和固定超参数；裁剪输入；限制词汇表；固定隐藏层大小。

实验结果

研究问题

• RQ1 IDF 加权查询-文档交互是否能在 MS MARCO 上提升排名性能？
• RQ2 非线性激活（ReLU）和基于 MLP 的子模型输出融合是否优于原始的 Duet 设计？
• RQ3 对多个 Duet v2 模型进行袋装是否在 MS MARCO 的段落排序上带来额外收益？
• RQ4 更新后的 Duet v2 与非 BERT 基线及 BERT 基准在 MS MARCO 上的比较如何？

主要发现

• Duet v2 在开发集上实现 MRR@10 为 0.243，在评估集为 0.245。
• 八模组的 Duet v2 集成在开发集上 MRR@10 为 0.252，评估集为 0.253。
• 去掉 IDF 加权的消融使 MRR 降低约 33%。
• 将 Tanh 替换为 ReLU 在禁用时导致约 26% 的 MRR 下降。
• 使用本地与分布分数的线性组合（而不是 MLP）使 MRR 降低约 14%。
• 袋装再带来额外约 3% 的 MRR 提升。
• Duet v2 在 MS MARCO 上接近其他非 BERT 顶尖方法的性能，并且训练速度更快（在 Tesla K40 上 1.5 小时）。