[论文解读] Large Language Models are Strong Zero-Shot Retriever

Tao Shen, Guodong Long+4 more|arXiv (Cornell University)|Apr 27, 2023

Topic Modeling被引用 4

一句话总结

该论文提出 LameR，一种零样本检索方法，利用大语言模型（LLM）将领域内候选答案增强到查询中，显著提升检索性能，且无需任何微调过的检索器。通过结合 LLM 基于的查询增强与非参数 BM25 检索器，LameR 在基准数据集上实现了最先进（SOTA）的结果，优于所有零样本和少样本基线方法。

ABSTRACT

In this work, we propose a simple method that applies a large language model (LLM) to large-scale retrieval in zero-shot scenarios. Our method, the Language language model as Retriever (LameR), is built upon no other neural models but an LLM, while breaking brute-force combinations of retrievers with LLMs and lifting the performance of zero-shot retrieval to be very competitive on benchmark datasets. Essentially, we propose to augment a query with its potential answers by prompting LLMs with a composition of the query and the query's in-domain candidates. The candidates, regardless of correct or wrong, are obtained by a vanilla retrieval procedure on the target collection. As a part of the prompts, they are likely to help LLM generate more precise answers by pattern imitation or candidate summarization. Even if all the candidates are wrong, the prompts at least make LLM aware of in-collection patterns and genres. Moreover, due to the low performance of a self-supervised retriever, the LLM-based query augmentation becomes less effective as the retriever bottlenecks the whole pipeline. Therefore, we propose to leverage a non-parametric lexicon-based method (e.g., BM25) as the retrieval module to capture query-document overlap in a literal fashion. As such, LameR makes the retrieval procedure transparent to the LLM, thus circumventing the performance bottleneck.

研究动机与目标

• 解决由弱自监督检索器引起的零样本检索性能瓶颈问题。
• 在无需领域内标注查询-文档对的情况下，实现强大的零样本检索。
• 通过将领域内候选文档作为上下文引入，改进基于 LLM 的查询增强。
• 证明当与 LLM 增强查询结合时，非参数检索器（如 BM25）可超越学习型检索器。
• 建立一个透明的、端到端的由语言模型驱动的检索流程，避免模型特定嵌入瓶颈。

提出的方法

• 使用 BM25 检索每个查询的顶级候选段落，形成包含查询及其候选答案的提示。
• 利用 LLM 基于查询和候选上下文生成优化或新的答案，借助模式模仿和摘要生成。
• 将 LLM 的输出视为查询增强，替换原始查询，在第二阶段使用 BM25 进行检索。
• 使用非参数、基于词典的检索器（BM25）替代参数化、自监督的检索器，以避免性能瓶颈。
• 通过依赖增强查询与文档之间的字面词汇重叠，确保透明性，避免潜在空间不匹配。
• 端到端应用该方法：BM25 检索 → 基于 LLM 的查询增强 → 第二阶段 BM25 检索。

Figure 1: nDCG@10 on DL19 for query augmentation w/ LLMs.

实验结果

研究问题

• RQ1 当提供领域内候选答案作为上下文时，LLM 是否能显著提升零样本检索性能？
• RQ2 当与基于 LLM 的查询增强结合时，用非参数 BM25 检索器替代自监督检索器是否能提升整体检索流程？
• RQ3 LameR 在有效性与效率方面与现有零样本和少样本检索方法相比如何？
• RQ4 LLM 增强查询是否能在无需任何领域内微调或标注数据的情况下实现最先进性能？
• RQ5 基于 LLM 的查询增强在不同检索主干网络（如 BM25 和密集检索器）上的有效性是否保持一致？

主要发现

• LameR 在 TREC DL19 上达到 69.1 nDCG@10，在 DL20 上达到 64.8 nDCG@10，优于所有零样本竞争对手，并在 DL20 上超越了最佳全监督检索器（E5 base）。
• 使用 SimLM 密集检索器时，LameR 在 DL19 上达到 76.5 nDCG@10，在 DL20 上达到 75.8 nDCG@10，分别较基础检索器提升 +5.1 和 +6.1。
• LameR 在 DL19 上使 BM25 提升 +18.5 nDCG@10，在 DL20 上提升 +16.8，显著优于 HyDE 和 Q2D，即使这些方法使用了少样本演示。
• LameR 在不同检索主干网络（包括 BM25 和 Contriever、SimLM 等密集检索器）上均保持一致的性能增益，表明对检索模型选择具有鲁棒性。
• 与使用密集检索器的 HyDE 相比，LameR 在检索延迟和索引大小方面表现更优，得益于 BM25 的高效性，同时实现了更高的有效性。
• 该方法对候选质量具有鲁棒性：即使候选内容有误，LLM 仍能从领域内模式中受益，从而提升答案质量和相关性。

Figure 2: HyDE improving Dense and Term-based Retrieval.