[论文解读] Context-Aware Sentence/Passage Term Importance Estimation For First Stage Retrieval

Zhuyun Dai, Jamie Callan|arXiv (Cornell University)|Oct 23, 2019

Topic Modeling参考文献 33被引用 117

一句话总结

本文提出 DeepCT，一种框架，利用基于 BERT 的上下文表征为句子/段落分配上下文感知的词项权重，从而在离线索引（DeepCT-Index）和查询加权（DeepCT-Query）的情况下实现有效的第一阶段检索。

ABSTRACT

Term frequency is a common method for identifying the importance of a term in a query or document. But it is a weak signal, especially when the frequency distribution is flat, such as in long queries or short documents where the text is of sentence/passage-length. This paper proposes a Deep Contextualized Term Weighting framework that learns to map BERT's contextualized text representations to context-aware term weights for sentences and passages. When applied to passages, DeepCT-Index produces term weights that can be stored in an ordinary inverted index for passage retrieval. When applied to query text, DeepCT-Query generates a weighted bag-of-words query. Both types of term weight can be used directly by typical first-stage retrieval algorithms. This is novel because most deep neural network based ranking models have higher computational costs, and thus are restricted to later-stage rankers. Experiments on four datasets demonstrate that DeepCT's deep contextualized text understanding greatly improves the accuracy of first-stage retrieval algorithms.

研究动机与目标

• 阐明在句子长度和段落长度文本中基于频率的词项加权的局限性。
• 提出一种深度上下文化的词项加权框架，将 BERT 嵌入映射到词项权重。
• 展示如何将上下文感知权重用于离线段落索引（DeepCT-Index）以及对长查询进行加权（DeepCT-Query）。
• 证明在 MS MARCO 和 TREC-CAR 数据集上第一阶段检索准确性的提升。

提出的方法

• 使用 BERT 为文本段落和查询生成上下文化的标记嵌入。
• 在 BERT 嵌入之上学习一个线性回归层，将上下文特征映射到非负词项权重，采用均方误差损失。
• 对于段落，训练以查询词项召回目标来创建 TF-DeepCT 权重，并在标准倒排索引中离线建立 DeepCT-Index。
• 对于查询，基于相关文档的词项召回进行训练，创建带权重的词袋（weighted bag-of-words）或带权重的 SDM 查询（DeepCT-Query）。
• 在第一阶段检索中，使用 BM25 和 QL，对比 tf、TextRank 和 Doc2Query 基线，并通过 Conv-KNRM 与 BERT 重排序器进行再排序。

实验结果

研究问题

• RQ1 来自上下文化表示的上下文感知词项权重是否可以提升段落和长查询的第一阶段检索？
• RQ2 在像 BM25 和 QL 这样的标准词袋模型下，DeepCT-Index 如何执行离线索引和检索？
• RQ3 DeepCT-Query 是否能够有效地对长查询重新加权以提升初始检索？
• RQ4 使用 BERT 与非上下文嵌入（W/E）相比，对词项权重性能的影响是什么？
• RQ5 DeepCT-Index 如何影响后续重排序的效率和效果？

主要发现

• 在 MS MARCO 和 TREC-CAR 上，DeepCT-Index 相对于 tf、TextRank 和 Doc2Query，在 BM25 与 QL 上取得显著提升。
• 上下文化嵌入（BERT）在产生有效段落词项权重方面优于 ELMo 和非上下文的 word2vec。
• 第一阶段 DeepCT-Index 的 BM25 能在保持高效的同时超越一些多阶段和神经重排序基线。
• 将 DeepCT-Query 用于对长查询加权，当与 BM25 或 QL 集成时，通过带权重的 BOW 或 SDM 形式提升检索。
• 第一阶段的改进转化为对重排序器更高的召回率，并且可以减少后续重排序所需的深度。