[论文解读] Generative Query Reformulation for Effective Adhoc Search

Xiao Wang, Sean MacAvaney+2 more|arXiv (Cornell University)|Aug 1, 2023

Topic Modeling被引用 6

一句话总结

本文提出使用 T5 和 FLAN-T5 模型进行生成式查询重写，以提升即席搜索的有效性。提出了两种框架——GenQR（直接查询重写）和 GenPRF（结合伪相关反馈的重写），分别采用微调和提示工程方法；实验结果表明，该方法在 TREC 数据集上显著优于 RM3，且与复杂神经模型性能相当，尤其在结合神经重排序模型时表现更优。

ABSTRACT

Performing automatic reformulations of a user's query is a popular paradigm used in information retrieval (IR) for improving effectiveness -- as exemplified by the pseudo-relevance feedback approaches, which expand the query in order to alleviate the vocabulary mismatch problem. Recent advancements in generative language models have demonstrated their ability in generating responses that are relevant to a given prompt. In light of this success, we seek to study the capacity of such models to perform query reformulation and how they compare with long-standing query reformulation methods that use pseudo-relevance feedback. In particular, we investigate two representative query reformulation frameworks, GenQR and GenPRF. GenQR directly reformulates the user's input query, while GenPRF provides additional context for the query by making use of pseudo-relevance feedback information. For each reformulation method, we leverage different techniques, including fine-tuning and direct prompting, to harness the knowledge of language models. The reformulated queries produced by the generative models are demonstrated to markedly benefit the effectiveness of a state-of-the-art retrieval pipeline on four TREC test collections (varying from TREC 2004 Robust to the TREC 2019 Deep Learning). Furthermore, our results indicate that our studied generative models can outperform various statistical query expansion approaches while remaining comparable to other existing complex neural query reformulation models, with the added benefit of being simpler to implement.

研究动机与目标

• 探究生成式语言模型是否能有效重写用户查询，以减少即席搜索中的词汇不匹配问题。
• 比较微调与提示工程策略在利用预训练模型进行查询重写任务中的表现。
• 评估在生成式模型中引入伪相关反馈（PRF）上下文对重写质量的影响。
• 评估生成式重写在结合神经重排序模型时对检索性能的提升效果。
• 提供一种轻量级、查询时可用的替代方案，以替代如 docT5query 这类文档级扩展方法。

提出的方法

• 提出两种框架：GenQR 直接使用序列到序列模型对输入查询进行重写；GenPRF 则通过伪相关文档的上下文信息增强查询。
• 采用微调和少样本提示工程技术，将 T5 和 FLAN-T5 模型适配于查询重写任务。
• 利用初始稀疏检索（如 BM25）的检索结果提取伪相关文档，作为 GenPRF 中的上下文信息。
• 将重写后的查询应用于相同的倒排索引，生成更高召回率的候选文档集，再进行神经重排序。
• 将重写后的查询与神经重排序模型（如基于 BERT 的模型）结合，以提升排序效果。
• 在四个 TREC 测试集（TREC 2004 Robust 至 TREC 2019 Deep Learning）上评估模型，使用 nDCG@10 和召回率等标准信息检索指标。

实验结果

研究问题

• RQ1 生成式语言模型能否有效重写用户查询，从而提升即席检索性能？
• RQ2 基于提示的方法（如 FLAN-T5）与微调模型（如 T5）在查询重写任务中的表现如何比较？
• RQ3 在提示中引入伪相关反馈上下文是否能提升重写质量与检索效果？
• RQ4 生成式查询重写能否在召回率和精确率方面超越传统统计方法 RM3？
• RQ5 生成式查询重写是否比文档级扩展方法（如 docT5query）更高效？

主要发现

• GenQR 和 GenPRF 模型在四个 TREC 测试集上均显著提升了检索效果，nDCG@10 和召回率均优于基线方法。
• 基于 FLAN-T5 的提示模型（FlanQR 和 FlanPRF）在无需参数更新的情况下，性能与微调后的 T5 模型相当。
• GenPRF 通过利用伪相关文档的上下文信息，优于 GenQR，证明了反馈感知重写的优越性。
• 当具备高质量训练数据时，微调模型（T5QR 和 T5PRF）的表现优于基于提示的模型。
• 结合神经重排序模型后，生成式重写在精度指标（尤其是 nDCG@10）上优于 RM3。
• 该方法实现了高效、实时的查询重写，无需在索引阶段进行昂贵的文档级建模，优于 docT5query 等方法。