[論文レビュー] Incorporating Q&A Nuggets into Retrieval-Augmented Generation

Laura Dietz, Bryan Li+6 more|arXiv (Cornell University)|Jan 19, 2026

Biomedical Text Mining and Ontologies被引用数 0

ひとこと要約

Crucible は nugget-first の Q&A nugget バンクを用いて retrieval、extraction、report assembly を導く RAG システムであり、TREC NeuCLIR 2024 テストにおいて Ginger より nugget recall と grounding が高い。

ABSTRACT

RAGE systems integrate ideas from automatic evaluation (E) into Retrieval-augmented Generation (RAG). As one such example, we present Crucible, a Nugget-Augmented Generation System that preserves explicit citation provenance by constructing a bank of Q&A nuggets from retrieved documents and uses them to guide extraction, selection, and report generation. Reasoning on nuggets avoids repeated information through clear and interpretable Q&A semantics - instead of opaque cluster abstractions - while maintaining citation provenance throughout the entire generation process. Evaluated on the TREC NeuCLIR 2024 collection, our Crucible system substantially outperforms Ginger, a recent nugget-based RAG system, in nugget recall, density, and citation grounding.

研究の動機と目的

• 評価と生成のための再利用可能な情報単位としての細粒度 Q&A nugget の利用を動機付ける。
• Crucible を提案： nugget 中心の RAG システムで nugget bank を構築・利用して retrieval、extraction、report assembly を制御しつつ citation provenance を保持する。
• NeuCLIR 2024 データセット上で nugget-based RAG の最先端システムと Crucible を比較評価し nugget recall、density、grounding の向上を示す。
• nugget 中心設計がクラスタリングなしでも冗長性を減らし、生成全体を通じて明示的な citation provenance を維持することを示す。

提案手法

• Nugget ideation: 初期文書を取得し、文書ごとにクエリ指向の要約を生成し、ユーザー要求と要約に条件付けられた Q&A nugget を作成する。
• Paraphrase detection と merging によりリクエストごとに canonical なトップ20 nugget バンクを作成する。
• Nugget ranking は 19 個の quality features による Support-Vector Classifier に、可読性・複雑さ指標を融合し、人気指標を組み合わせて実行する。
• Nugget-first retrieval and scanning: 各 nugget について supporting passages を特定し、 concise な self-contained sentences を抽出し、抽出確信度を extraction confidence として記録する。
• Sentence selection: 各 nugget ごとに候補文を extraction confidence でランク付けし、 nugget ごとに top one sentence を選択する（k=1）。
• Assembly: 選択した文を nugget quality order（ nugget 質の順序）で結合し、それぞれの文が正確に一つの citation に紐づくようにして citation provenance を保持する。

実験結果

リサーチクエスチョン

• RQ1 nugget-first RAG パイプラインはクラスターベースやエンドツーエンドのアプローチと比較して nugget recall、density、citation grounding を改善できるか？
• RQ2 Crucible は NeuCLIR 2024 タスクで Nugget Recall、Nugget Density、Sentence Novelty、Relevant Sentences、Citation Support において Ginger および他のベースラインと比較してどうなるか？
• RQ3 異なる retriever（例：Milco、Qwen3）と検証ステップを nugget レベルおよび cite-grounded 指標に与える影響は何か？

主な発見

System	Nugget Recall	Nugget Density	Sentence Novelty	Relevant Sent.	Citation Support
Crucible-Base	0.429	0.448	0.255	0.703	0.902
Crucible-Verified	0.438	0.457	0.267	0.733	0.961
GptResearcher	0.177	0.131	0.083	0.265	0.571
Ginger	0.244	0.264	0.162	0.285	0.436
Ginger -LLaMA	0.241	0.134	0.097	0.136	0.476
BulletPoints	0.508	0.340	0.243	0.468	0.835

• Crucible は NeuCLIR 2024 で nugget 指向の指標において Ginger および Ginger-LLaMA を上回る。
• Nugget recall は 42% から 65%、 nugget density は 21% から 25% の改善を示す。
• Crucible-Verified は Crucible-Base に比べて citation support および sentence novelty で高いスコアを達成。
• Crucible は 複数の retriever 下でも堅牢な性能を示し、検証ステップが grounding の追加的な向上をもたらす。
• 設計は各文を自立さつにして単一の citation に紐づけることで明示的な citation provenance を維持する。