[论文解读] Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP

Omar Khattab, Keshav Santhanam+5 more|arXiv (Cornell University)|Dec 28, 2022

Topic Modeling被引用 52

一句话总结

DSP 提出一个框架，组合 Demonstrate、Search、Predict 阶段，以实现冻结语言模型与检索模型之间的复杂交互，在无需微调的情况下，在知识密集型任务上实现具有前瞻性的上下文学习，达到最先进水平。

ABSTRACT

Retrieval-augmented in-context learning has emerged as a powerful approach for addressing knowledge-intensive tasks using frozen language models (LM) and retrieval models (RM). Existing work has combined these in simple "retrieve-then-read" pipelines in which the RM retrieves passages that are inserted into the LM prompt. To begin to fully realize the potential of frozen LMs and RMs, we propose Demonstrate-Search-Predict (DSP), a framework that relies on passing natural language texts in sophisticated pipelines between an LM and an RM. DSP can express high-level programs that bootstrap pipeline-aware demonstrations, search for relevant passages, and generate grounded predictions, systematically breaking down problems into small transformations that the LM and RM can handle more reliably. We have written novel DSP programs for answering questions in open-domain, multi-hop, and conversational settings, establishing in early evaluations new state-of-the-art in-context learning results and delivering 37-120%, 8-39%, and 80-290% relative gains against the vanilla LM (GPT-3.5), a standard retrieve-then-read pipeline, and a contemporaneous self-ask pipeline, respectively. We release DSP at https://github.com/stanfordnlp/dsp

研究动机与目标

• 论证任务感知、可编程的语言模型与检索模型之间的交互优于简单的检索-再阅读流程。
• 引入 DSP 框架，用以表达能够引导演示、执行多跳检索并生成有据可依的预测的流水线。
• 展示 DSP 在知识密集型任务上实现了最先进的上下文学习结果，且无需对 LM 或 RM 进行微调。
• 演示支持端任务标签驱动演示引导的模块化变换与可组合算子。
• 提供 DSP 的开源版本以便更广泛的实验与复用。

提出的方法

• 将三阶段 DSP（Demonstrate、Search、Predict）定义为在 Example 数据类型上运行的可组合变换。
• 利用 Demonstrate 通过来自端任务标签的弱监督来引导演示。
• 使用 Search 进行多跳和对话式检索，由 LM 生成的查询驱动。
• 使用 Predict 通过演示和检索到的段落生成并选择有据的预测。
• 在不对 LM 进行微调的情况下，支持多种演示选择与预测聚合策略（如自一致性、PoT、集成提示）。
• 在冻结的 GPT-3.5 与 ColBERTv2 上对 Open-SQuAD、HotPotQA 与 QReCC 进行 DSP 评估，并报告相对增益相对于基线。

实验结果

研究问题

• RQ1 在知识密集型任务上，任务感知、可编程的 DSP 流水线能否优于普通的上下文学习和标准的检索-再阅读设置？
• RQ2 哪些 LM 与 RM 之间的变换与组合最能在不微调的情况下实现多跳与对话推理？
• RQ3 演示、多跳检索策略和预测聚合如何促进知识密集型 NLP 的 grounding（有据性）与准确性？
• RQ4 通过引导演示和自适应演示选择是否能在开放域问答、多跳问答和对话问答中提高鲁棒性？

主要发现

• DSP 在各任务上相对于 vanilla GPT-3.5 基线实现 37–120% 的相对增益。
• DSP 相对于标准的检索-再阅读流水线实现 8–39% 的相对增益。
• DSP 相对于同期的 self-ask 流水线实现 80–290% 的相对增益。
• 作者的代码库提供了开源的 DSP 实现。
• Demonstrate 能够从端任务标签自动标注中间步骤，减少人工标注需求。
• 实验涵盖开放域问答、多跳问答和对话问答，使用冻结模块且不进行微调。