[论文解读] Large Language Models Know Your Contextual Search Intent: A Prompting Framework for Conversational Search

Kelong Mao, Zhicheng Dou+4 more|arXiv (Cornell University)|Mar 12, 2023

Topic Modeling被引用 4

一句话总结

该论文提出 LLM4CS，一种利用大型语言模型（LLMs）改进对话搜索的提示工程框架，通过生成多个查询重写和假设性回复，再将它们聚合为用户意图的鲁棒表示。该方法在 CAsT-19、CAsT-20 和 CAsT-21 基准测试中达到最先进性能，优于现有方法，甚至在意图理解与检索有效性方面超越人工重写。

ABSTRACT

Precisely understanding users' contextual search intent has been an important challenge for conversational search. As conversational search sessions are much more diverse and long-tailed, existing methods trained on limited data still show unsatisfactory effectiveness and robustness to handle real conversational search scenarios. Recently, large language models (LLMs) have demonstrated amazing capabilities for text generation and conversation understanding. In this work, we present a simple yet effective prompting framework, called LLM4CS, to leverage LLMs as a text-based search intent interpreter to help conversational search. Under this framework, we explore three prompting methods to generate multiple query rewrites and hypothetical responses, and propose to aggregate them into an integrated representation that can robustly represent the user's real contextual search intent. Extensive automatic evaluations and human evaluations on three widely used conversational search benchmarks, including CAsT-19, CAsT-20, and CAsT-21, demonstrate the remarkable performance of our simple LLM4CS framework compared with existing methods and even using human rewrites. Our findings provide important evidence to better understand and leverage LLMs for conversational search.

研究动机与目标

• 为解决在长尾、多样化的对话搜索会话中准确捕捉用户上下文搜索意图的挑战。
• 通过利用大型语言模型（LLMs）的零样本推理与生成能力，克服对话搜索中的数据稀缺问题。
• 通过引入假设性回复生成与集成聚合机制，提升对话查询重写（CQR）的鲁棒性与有效性。
• 证明 LLM 能够超越传统模型，甚至在理解复杂多轮搜索意图方面超越人工重写。

提出的方法

• 该框架使用三种定制化提示方法，从同一对话上下文中生成多个查询重写和更长的假设性回复。
• 通过可学习的聚合机制，将生成的重写和回复整合为统一的、富含意图的表示。
• 利用 LLM 强大的上下文理解能力，解决对话查询中常见的代词指代和省略问题。
• 采用两阶段流程：(1) LLM 生成多样化的意图表达；(2) 集成聚合以过滤错误或噪声的解释。
• 使用标准对话搜索基准（CAsT-19、CAsT-20、CAsT-21）进行评估，结合自动评估与人工评估。
• 聚合策略通过整合同一用户意图的多个合理解释，增强了鲁棒性。

实验结果

研究问题

• RQ1 LLM 能否有效理解并重构多轮对话中用户上下文的搜索意图？
• RQ2 与仅生成查询重写相比，同时生成查询重写和假设性回复是否能提升意图表示能力？
• RQ3 对多个 LLM 生成结果进行集成聚合，能否增强对话搜索中的鲁棒性与性能？
• RQ4 LLM4CS 框架在意图准确率与检索有效性方面，与人工标注重写及现有 CQR/CDR 模型相比如何？

主要发现

• LLM4CS 在 CAsT-19、CAsT-20 和 CAsT-21 上均达到最先进性能，在检索有效性方面优于现有方法，甚至超越人工重写。
• 人工评估显示，LLM4CS 在 CAsT-19、CAsT-20 和 CAsT-21 上分别有 85.5%、89.4% 和 84.8% 的重写准确传达了用户意图，而 T5QR 的对应比例为 75.1%、62.0% 和 58.6%。
• LLM4CS 重写中核心指代错误占比不足 3%，而 T5QR 约为 10%，表明其在处理代词与指代方面表现更优。
• 引入假设性回复显著提升了性能，表明建模可能的答案有助于增强意图理解。
• 对多个生成结果的聚合有效过滤了错误解释，并强化了正确解释，从而提升了鲁棒性。