[论文解读] Co-BERT: A Context-Aware BERT Retrieval Model Incorporating Local and Query-specific Context

Xiaoyang Chen, Kai Hui+4 more|arXiv (Cornell University)|Apr 17, 2021

Topic Modeling参考文献 42被引用 9

一句话总结

Co-BERT 提出了一种上下文感知的基于 BERT 的重排序模型，通过联合建模局部排序上下文（跨文档交互）和查询特定上下文（通过伪相关反馈），增强了相关性评分。通过使用原型文档校准查询-文档表示，并联合评分文档组，Co-BERT 在 GOV2 数据集上相较于 BERT-Base 将 nDCG@20 提升了 14.7%，MAP@1K 提升了 13.9%，达到当前最先进性能。

ABSTRACT

BERT-based text ranking models have dramatically advanced the state-of-the-art in ad-hoc retrieval, wherein most models tend to consider individual query-document pairs independently. In the mean time, the importance and usefulness to consider the cross-documents interactions and the query-specific characteristics in a ranking model have been repeatedly confirmed, mostly in the context of learning to rank. The BERT-based ranking model, however, has not been able to fully incorporate these two types of ranking context, thereby ignoring the inter-document relationships from the ranking and the differences among queries. To mitigate this gap, in this work, an end-to-end transformer-based ranking model, named Co-BERT, has been proposed to exploit several BERT architectures to calibrate the query-document representations using pseudo relevance feedback before modeling the relevance of a group of documents jointly. Extensive experiments on two standard test collections confirm the effectiveness of the proposed model in improving the performance of text re-ranking over strong fine-tuned BERT-Base baselines. We plan to make our implementation open source to enable further comparisons.

研究动机与目标

• 解决基于 BERT 的模型将查询-文档对孤立处理的局限性，忽略文档间关系和查询特定特征的问题。
• 将局部排序上下文（跨文档交互）和查询特定上下文（通过伪相关反馈建模）整合到单一基于 BERT 的排序框架中。
• 开发一个端到端可训练的模型，使其在重排序性能上超越强大的微调 BERT-Base 基线。
• 在有效融入上下文信息的同时，将计算开销最小化。
• 通过计划开源发布和未来扩展至 DPR 与 ColBERT 等其他模型，提升模型的广泛适用性。

提出的方法

• 使用伪相关反馈（PRF）为每个查询生成原型文档，用于校准查询-文档交互表示。
• 构建包含重叠文档的训练批次，以保留相邻组之间的局部排序上下文。
• 采用基于多头自注意力的组级别评分器，联合建模一批文档的相关性得分。
• 以序列感知方式将文档和查询批次输入 BERT，将 PRF 校准后的表示作为输入。
• 使用标准排序损失（如成对损失或列表损失）进行端到端训练，同时调整批次顺序和重叠程度以优化性能。
• 在 BERT 的 CLS 表示之上堆叠全连接层，为每组中的每个文档预测最终的相关性得分。

实验结果

研究问题

• RQ1 将局部排序上下文（跨文档交互）整合到基于 BERT 的重排序器中，能否提升检索性能？
• RQ2 通过伪相关反馈建模的查询特定上下文，能否增强 BERT 在即席检索中的表征能力？
• RQ3 是否可行在一个单一的基于 BERT 的架构中联合建模局部和查询特定上下文，而不会带来过高的计算成本？
• RQ4 训练批次的顺序和结构（含重叠）如何影响模型收敛性和性能？
• RQ5 Co-BERT 是否能在有效性和效率方面全面超越现有的基于 BERT 和非 BERT 的神经信息检索模型？

主要发现

• 在 GOV2 数据集上，Co-BERT 相较于 BERT-Base（MS Marco）将 nDCG@20 提升 14.7%，MAP@1K 提升 13.9%，表现出显著提升。
• 在 Robust04 上，Co-BERT 相较于同一 BERT-Base 基线，nDCG@20 提升 2.0%，MAP@1K 提升 6.6%。
• 在 GOV2 上，Co-BERT 显著优于近期提出的 BERT-QE 模型，同时在 Robust04 上表现具有竞争力，且计算开销显著更低。
• 在两个数据集上，使用 64 的批量大小均达到最优性能，表明在模型稳定性与硬件限制之间实现了良好平衡。
• 原型文档数量少于四个（如 m=3）的配置会导致性能显著下降，尤其在 Robust04 上，凸显了充分 PRF 校准的重要性。
• 批次间存在非零重叠（o > 0）可提升浅层检索池上的性能，尤其在 GOV2 上表现更佳，表明文档连续性有助于学习。