[论文解读] Query expansion with artificially generated texts
本文提出使用 GPT-2 通过从用户查询生成相关且上下文感知的文本，实现文档检索中的查询扩展。该方法通过丰富查询中的语义相关术语，并利用生成文本中的词频实现更优的加权，显著提升了检索性能，MAP 最高提升达 10%，优于 LM+RM3 等强基线模型。
A well-known way to improve the performance of document retrieval is to expand the user's query. Several approaches have been proposed in the literature, and some of them are considered as yielding state-of-the-art results in IR. In this paper, we explore the use of text generation to automatically expand the queries. We rely on a well-known neural generative model, GPT-2, that comes with pre-trained models for English but can also be fine-tuned on specific corpora. Through different experiments, we show that text generation is a very effective way to improve the performance of an IR system, with a large margin (+10% MAP gains), and that it outperforms strong baselines also relying on query expansion (LM+RM3). This conceptually simple approach can easily be implemented on any IR system thanks to the availability of GPT code and models.
研究动机与目标
- 探究神经文本生成是否能通过查询扩展有效提升文档检索性能。
- 评估生成的文本是否能提供优于传统方法的术语相关性和相对术语加权。
- 评估该方法在专业领域中的可行性和有效性。
- 探索生成文本长度和生成文档数量对检索性能的影响。
- 将所提方法与强基线模型（如 LM+RM3）及传统查询扩展技术进行比较。
提出的方法
- 在目标语料上微调 GPT-2，使其生成适应目标领域。
- 使用原始查询作为提示，通过微调后的 GPT-2 模型生成多篇完整文本。
- 从生成的文本中提取术语，并将其频率用作 BM25 检索模型中的权重。
- 根据术语在生成文本中的频率，重新加权原始查询术语，以增强其在检索中的贡献。
- 将带有频率加权或固定权重的扩展查询应用于 BM25 检索系统。
- 在 Tipster 等基准语料集上，使用标准信息检索指标（如 MAP、P@5、P@10、P@20 和 P@100）评估性能。
实验结果
研究问题
- RQ1使用 GPT-2 从查询生成文本能否产生有意义且相关的扩展，从而提升检索性能？
- RQ2生成文本中术语的频率是否能提供优于均匀或启发式加权方案的术语加权？
- RQ3每条查询生成的文档数量如何影响检索性能？是否存在性能饱和点？
- RQ4该方法能否在即席检索任务中超越成熟的查询扩展基线（如 LM+RM3）？
- RQ5该方法在标注数据有限的专业领域中，其泛化能力如何？
主要发现
- 所提出的基于 GPT-2 的查询扩展方法相比基线方法实现了 +10% 的 MAP 提升，显著优于 LM+RM3。
- 使用生成文本中术语频率进行加权，在 MAP 上带来了可测量的提升，而固定权重扩展仅带来微小增益。
- 基于生成文本中术语频率重新加权原始查询术语后，MAP 从 25.06%（BM25+）提升至 27.12%（BM25+ with re-weighting）。
- 每条查询生成约 20 篇文档后性能趋于平稳，表明超过此点后收益递减。
- 该方法在专业领域中也表现出有效性，表明其在通用领域语料之外也具有广泛适用性。
- 该方法不仅引入了新术语，还提供了更准确的术语重要性估计，从而同时提升了召回率和精确率。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。