[论文解读] Enhancing Conversational Search: Large Language Model-Aided Informative Query Rewriting

Fanghua Ye, Meng Fang+2 more|arXiv (Cornell University)|Oct 15, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出使用大语言模型（LLMs）生成信息丰富、上下文充分的查询重写，以提升对话式搜索的召回性能，超越人工重写查询的效果。通过设计具备指令微调的LLMs，使其生成具备四个关键特性（清晰性、信息量、非冗余性、语义保真度）的规范重写查询，并采用“重写-再编辑”工作流，由LLM编辑器对初始重写结果进行优化，该方法在稀疏检索器上表现尤为出色，同时通过蒸馏技术实现高效推理。

ABSTRACT

Query rewriting plays a vital role in enhancing conversational search by transforming context-dependent user queries into standalone forms. Existing approaches primarily leverage human-rewritten queries as labels to train query rewriting models. However, human rewrites may lack sufficient information for optimal retrieval performance. To overcome this limitation, we propose utilizing large language models (LLMs) as query rewriters, enabling the generation of informative query rewrites through well-designed instructions. We define four essential properties for well-formed rewrites and incorporate all of them into the instruction. In addition, we introduce the role of rewrite editors for LLMs when initial query rewrites are available, forming a "rewrite-then-edit" process. Furthermore, we propose distilling the rewriting capabilities of LLMs into smaller models to reduce rewriting latency. Our experimental evaluation on the QReCC dataset demonstrates that informative query rewrites can yield substantially improved retrieval performance compared to human rewrites, especially with sparse retrievers.

研究动机与目标

• 为解决对话式搜索中人工重写查询所存在的上下文不足与信息量匮乏的问题，以实现最优检索效果。
• 探索大语言模型（LLMs）作为可扩展、高质量的人工重写查询替代方案，用于训练查询重写模型。
• 定义并强制执行四个关键的规范查询重写属性：清晰性、信息量、非冗余性与语义保真度。
• 提出一种“重写-再编辑”框架，使LLM同时担任重写者与编辑者，以提升重写质量。
• 通过蒸馏技术将LLM的重写能力迁移至更小、更高效的模型中，实现在不损失性能的前提下低延迟推理。

提出的方法

• 设计一个全面的指令提示，将四个关键属性——清晰性、信息量、非冗余性与语义保真度——整合至零样本LLM查询重写中。
• 采用少样本提示策略，通过示范样例引导LLM生成高质量的重写结果。
• 引入两阶段“重写-再编辑”流程，由LLM作为重写编辑器，对小型模型或LLM生成的初始重写结果进行优化。
• 采用蒸馏技术，利用LLM生成的重写结果作为监督标签，将大LLM的重写能力迁移至更小、更快速的模型中。
• 在QReCC数据集上，结合稀疏与密集检索模型评估该方法的性能增益。

Figure 1: An example showing that human rewrites may overlook valuable contextual information. Specifically, the omission of the phrase “as a lecturer in midwifery” makes it challenging for retrieval systems to understand the original query comprehensively.

实验结果

研究问题

• RQ1 LLM生成的查询重写是否在检索有效性方面优于人工重写查询，尤其是在稀疏检索场景下？
• RQ2 在对话式搜索背景下，哪些具体属性使查询重写具备规范性与信息量？
• RQ3 与直接提示相比，“重写-再编辑”框架在提升LLM生成重写质量方面的有效性如何？
• RQ4 LLM的推理与重写能力在多大程度上可被蒸馏至小型模型中，同时保持性能？
• RQ5 使用指令微调的LLM是否显著优于基线人工重写查询，从而提升检索性能？

主要发现

• LLM生成的信息性查询重写在检索有效性方面显著优于人工重写查询，尤其在稀疏检索器上表现突出。
• “重写-再编辑”方法通过使LLM能够优化初始输出，显著提升了重写质量，生成更具上下文准确性与信息量的查询。
• 采用包含四个关键重写属性的指令微调LLM，生成的重写结果比人工重写更具信息量且更少歧义。
• 将LLM生成的重写结果蒸馏至小型模型中，可保留大部分性能增益，同时显著降低推理延迟。
• 在QReCC数据集上，LLM辅助的重写方法在检索指标（如Recall@10与平均倒数排名MRR）上实现显著提升，尤其在稀疏检索设置下表现突出。

Figure 2: Our proposed approach involves prompting LLMs as query rewriters and rewrite editors through clear and well-designed instructions, along with appropriate demonstrations. In the absence of demonstrations, the LLM functions as a zero-shot query rewriter. We explicitly incorporate the require