[论文解读] Generating Multi-Aspect Queries for Conversational Search

Zahra Abbasiantaeb, Lupart, Simon+1 more|arXiv (Cornell University)|Mar 28, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本文提出了一种用于对话式信息检索的生成-然后-检索（GTR）框架，利用大语言模型（LLMs）从单个LLM生成的答案中生成多个多样化查询，从而提升单查询方法的检索效果。实验表明，基于LLM答案的查询生成显著优于标准检索方法，尤其在复杂、多事实查询中表现更优，且由于使用了基于GPT-3.5的新评估池，实现了更公平的评估。

ABSTRACT

Conversational information seeking (CIS) systems aim to model the user's information need within the conversational context and retrieve the relevant information. One major approach to modeling the conversational context aims to rewrite the user utterance in the conversation to represent the information need independently. Recent work has shown the benefit of expanding the rewritten utterance with relevant terms. In this work, we hypothesize that breaking down the information of an utterance into multi-aspect rewritten queries can lead to more effective retrieval performance. This is more evident in more complex utterances that require gathering evidence from various information sources, where a single query rewrite or query representation cannot capture the complexity of the utterance. To test this hypothesis, we conduct extensive experiments on five widely used CIS datasets where we leverage LLMs to generate multi-aspect queries to represent the information need for each utterance in multiple query rewrites. We show that, for most of the utterances, the same retrieval model would perform better with more than one rewritten query by 85% in terms of nDCG@3. We further propose a multi-aspect query generation and retrieval framework, called MQ4CS. Our extensive experiments show that MQ4CS outperforms the state-of-the-art query rewriting methods. We make our code and our new dataset of generated multi-aspect queries publicly available.

研究动机与目标

• 为解决对话式信息检索中单查询重写方法的局限性，该方法在捕捉复杂、多事实用户信息需求方面存在不足。
• 通过从LLM生成的答案中生成多个多样化查询，而非依赖单个重写查询，来提升对话式检索中的检索性能。
• 通过使用GPT-3.5判断生成新的高覆盖率评估池，克服官方评估中相关文档覆盖率低的问题，为TREC iKAT开发更可靠的评估基准。
• 探究是否可以利用LLMs的推理和知识能力，生成更有效、更适配检索的查询，以应对复杂对话式查询。

提出的方法

• 提出AQD（先回答，再查询，然后检索）流程：首先使用LLM生成一个有依据的答案，然后将该答案分解为多个搜索查询。
• 使用LLM从生成的答案中生成最多五个多样化、基于事实的查询，以覆盖用户信息需求的不同方面。
• 对每个生成的查询独立执行检索，然后通过混合检索策略对结果进行交错和重排序。
• 引入AQD_A变体，利用原始LLM生成的答案作为重排序信号，对每个查询的前几篇文档进行重排序。
• 实现QD（先查询，再判断）基线方法，直接提示LLM在回答前生成查询，以对比查询质量。
• 使用GPT-3.5为133个对话轮次生成新的高覆盖率相关性评估池，包含19,413条相关性判断，以实现对检索性能更公平的评估。

Figure 1: An example conversation with a complex user request. The system in this case generates three distinct queries from the initial answer and searches for every query in the passage collection. Then it reads and reasons over the top passages to generate the final grounded answer.

实验结果

研究问题

• RQ1 我们能否利用LLMs的内部知识和推理能力，在生成-然后-检索流程中提升对话式文档检索效果？
• RQ2 我们能否利用LLMs的推理能力，生成多个相关且可检索的查询，以提升检索有效性？
• RQ3 在复杂对话式检索中，多查询生成方法与单查询重写和直接查询生成方法相比，性能如何？
• RQ4 GPT-3.5生成的相关性判断与人工评估的一致性如何？其是否能够支持对检索系统更公平的评估？

主要发现

• AQD和AQD_A方法在深层对话（轮次 >14）中显著优于标准检索基线和单查询方法，此时上下文建模变得更加复杂。
• AQD方法通过从LLM生成的答案中生成查询，其生成的查询比直接提示LLM生成查询或将答案用作查询更有效。
• 官方TREC iKAT评估池在前10名文档中的相关文档判断率极低（每轮约2篇），导致性能比较不公平且具有误导性。
• 新的基于GPT-3.5的评估池在二分类任务中与人工相关性判断的一致性达到66.84%，验证了其评估的可靠性。
• 在新的GPT-3.5评估池上，AQD和AQD_A模型展现出更优的检索性能，表明官方评估因判断覆盖率低而对这些方法存在偏见。
• 本研究证实，从LLM生成的答案中生成多个查询，能更好地覆盖相关事实，尤其在涉及多个实体或属性的思维链推理场景中。

Figure 2: Judged@10 metric in TREC iKAT official relevance assessments for the first 10 passages returned by each model.