[论文解读] Incorporating Q&A Nuggets into Retrieval-Augmented Generation

Laura Dietz, Bryan Li+6 more|arXiv (Cornell University)|Jan 19, 2026

Biomedical Text Mining and Ontologies被引用 0

一句话总结

简述：Crucible 使用 nugget-first，Q&A nugget 库在检索增强生成（RAG）系统中引导检索、提取与报告编排，在 TREC NeuCLIR 2024 测试上比 Ginger 具有更高的 nugget 召回与 grounding。

ABSTRACT

RAGE systems integrate ideas from automatic evaluation (E) into Retrieval-augmented Generation (RAG). As one such example, we present Crucible, a Nugget-Augmented Generation System that preserves explicit citation provenance by constructing a bank of Q&A nuggets from retrieved documents and uses them to guide extraction, selection, and report generation. Reasoning on nuggets avoids repeated information through clear and interpretable Q&A semantics - instead of opaque cluster abstractions - while maintaining citation provenance throughout the entire generation process. Evaluated on the TREC NeuCLIR 2024 collection, our Crucible system substantially outperforms Ginger, a recent nugget-based RAG system, in nugget recall, density, and citation grounding.

研究动机与目标

• 在评估与生成中推动使用可重复利用的细粒度 Q&A nugget 作为信息单元。
• 提出 Crucible，一个 nugget 为中心的 RAG 系统，通过构建并使用 nugget 库来控制检索、提取和报告编排，同时保留引文来源。
• 在 TREC NeuCLIR 2024 数据集上将 Crucible 与最先进的基于 nugget 的 RAG 系统进行对比，以证明 nugget 召回、密度与 grounding 的提升。
• 展示以 nugget 为中心的设计如何在不聚类的情况下减少冗余，并在整个生成过程中保持显式的引文 provenance。

提出的方法

• nugget 构思：检索初始文档，对每份文档生成面向查询的摘要，并在用户请求和摘要条件下生成 Q&A nuggets。
• 语义等价检测与合并，创建每个请求的 canonical 顶部 20 条 nugget 库。
• 通过一个在 19 个质量特征、可读性与复杂度度量基础上训练的支持向量分类器进行 nugget 排序，结合流行度线索。
• Nugget-first 检索与扫描：对每个 nugget，定位支持段落，提取简明的自包含句子，并将提取可能性记录为提取置信度。
• 句子选择：按提取置信度对每个 nugget 的候选句子进行排序，并为每个 nugget 选择最-top 的一句（k=1）。
• 编排：以 nugget 质量顺序拼接所选句子，每句仅绑定一个引用，确保引文 provenance 的保留。

实验结果

研究问题

• RQ1 相比基于聚类或端到端方法，nugget-first RAG 流水线是否能提高 nugget 召回、密度和引文 grounding？
• RQ2 Crucible 相对于 Ginger 与其他基线在 NeuCLIR 2024 任务上的 Nugget Recall、Nugget Density、Sentence Novelty、Relevant Sentences 与 Citation Support 的表现如何？
• RQ3 使用不同检索器（如 Milco、Qwen3）和验证步骤对 nugget 级别与引文 grounding 指标有何影响？

主要发现

• Crucible 在 NeuCLIR 2024 上在 nugget 导向指标方面优于 Ginger 与 Ginger-LLaMA。
• 使用 Crucible 时 Nugget recall 提升 42% 到 65%，Nugget Density 提升 21% 到 25%。
• Crucible-Verified 在引文支持与句子新颖性方面比 Crucible-Base 获得更高分数。
• Crucible 在多种检索器下都展现出稳健的性能，验证步骤为 grounding 提供额外增益。
• 设计通过确保每句自包含且绑定到单一引文来保留显式的引文 provenance。