[论文解读] BERT-QE: Contextualized Query Expansion for Document Re-ranking

Zhi Zheng, Kai Hui+4 more|arXiv (Cornell University)|Sep 15, 2020

Topic Modeling参考文献 32被引用 4

一句话总结

BERT-QE 提出了一种上下文感知的查询扩展方法，利用 BERT 从排名靠前的反馈文档中识别并选择相关文本块用于查询扩展，在 TREC Robust04 和 GOV2 基准测试中显著优于 BERT-Large，且计算成本仅增加 3-30%。

ABSTRACT

Query expansion aims to mitigate the mismatch between the language used in a query and in a document. However, query expansion methods can suffer from introducing non-relevant information when expanding the query. To bridge this gap, inspired by recent advances in applying contextualized models like BERT to the document retrieval task, this paper proposes a novel query expansion model that leverages the strength of the BERT model to select relevant document chunks for expansion. In evaluation on the standard TREC Robust04 and GOV2 test collections, the proposed BERT-QE model significantly outperforms BERT-Large models.

研究动机与目标

• 通过利用上下文表示改进查询扩展，解决信息检索中的词汇不匹配问题。
• 克服传统查询扩展方法因依赖弱相关信号或标量统计量而引入不相关术语的局限性。
• 利用 BERT 在细粒度层面识别高度相关文档块的能力，提升扩展术语的质量。
• 通过模型变体的权衡，在保持计算效率的同时，实现优于 BERT-Large 的重排序性能。
• 在浅层和深层检索池中，均证明基于 BERT 的细粒度级别相关性评分在查询扩展中的有效性。

提出的方法

• 使用 MS MARCO 预训练作为初始化，在目标检索数据集（如 Robust04 或 GOV2）上微调 BERT 模型。
• 在第一阶段，使用微调后的 BERT 模型对初始文档列表进行重排序，以获得前 k 个反馈文档。
• 在第二阶段，将排名靠前的反馈文档分割为固定长度的文本块（例如 10 个词符），并使用 BERT 模型对每个文本块与原始查询的相关性进行评分。
• 根据 BERT 评分选择最相关的前 k_c 个文本块用于扩展。
• 在第三阶段，使用由原始查询和选定的相关文本块组合而成的查询，通过 BERT 对最终相关性进行评分，对所有文档进行重排序。
• 使用多种 BERT 变体（如 BERT-Large、BERT-Base、BERT-Tiny）探索效率与效果之间的权衡，从而得到 BERT-QE-LLL、BERT-QE-LMT 和 BERT-QE-LLS 等模型。

实验结果

研究问题

• RQ1 与传统的基于词符或文档级别的方法相比，基于 BERT 的细粒度文本块相关性评分能否提升查询扩展的质量？
• RQ2 在标准的 TREC 重排序基准测试中，BERT-QE 与 BERT-Large 的性能相比如何？
• RQ3 在 BERT-QE 框架中，使用较小的 BERT 变体时，计算成本与检索效果之间的最优平衡点是什么？
• RQ4 选择细粒度且上下文相关的文本块，是否能比标准查询扩展技术更好地解决词汇不匹配问题？
• RQ5 所提出的方法是否能在仅增加少量推理成本的情况下实现最先进性能？

主要发现

• BERT-QE-LLL（在三个阶段均使用 BERT-Large）在 TREC Robust04 和 GOV2 测试集上均显著优于 BERT-Large。
• BERT-QE-LMT（使用较小的 BERT 变体）在浅层检索池中仅增加 3% 的计算成本，性能即与 BERT-Large 相当。
• BERT-QE-LLS（更大的变体）在浅层和深层检索池中均优于 BERT-Large，计算成本仅增加 30%。
• 最优的文本块大小为 k_c = 10，因其在性能与计算成本之间达到最佳平衡，而 k_c = 20 仅带来微小增益。
• 该模型在不同配置下均表现出稳健的有效性，m = 10 是文本块选择的最佳设置。
• 利用 BERT 进行细粒度文本块相关性评分，相比依赖词频或语言模型的传统方法，能实现更准确、更相关的查询扩展。