[論文レビュー] RECOR: Reasoning-focused Multi-turn Conversational Retrieval Benchmark

Mohammed K Ali, Abdelrahman Abdallah+3 more|arXiv (Cornell University)|Jan 9, 2026

Topic Modeling被引用数 0

ひとこと要約

RECOR は multi-turn 会話型検索と明示的推論を組み合わせたベンチマークを導入し、履歴+推論によって検索性能が大幅に向上すること、推論に特化したモデルが密エンコーダより優れていることを示す。

ABSTRACT

Existing benchmarks treat multi-turn conversation and reasoning-intensive retrieval separately, yet real-world information seeking requires both. To bridge this gap, we present a benchmark for reasoning-based conversational information retrieval comprising 707 conversations (2,971 turns) across eleven domains. To ensure quality, our Decomposition-and-Verification framework transforms complex queries into fact-grounded multi-turn dialogues through multi-level validation, where atomic facts are verified against sources and explicit retrieval reasoning is generated for each turn. Comprehensive evaluation reveals that combining conversation history with reasoning doubles retrieval performance (Baseline .236 $ ightarrow$ History+Reasoning .479 nDCG@10), while reasoning-specialized models substantially outperform dense encoders. Despite these gains, further analysis highlights that implicit reasoning remains challenging, particularly when logical connections are not explicitly stated in the text.

研究の動機と目的

• 多ターン会話と推論ベースの検索を統合するベンチマークの必要性を動機づける。
• 複雑な単一ターンの質問を地固めされた多ターン対話へ変換する Decomposition-and-Verification フレームワークを提案する。
• ベンチマークを作成する（707 会話、2,971 ターン、11ドメイン）し、人間とLLM評価で検証する。
• 履歴と明示的推論の併用で検索性能が2倍になること、推論特化モデルが密エンコーダより優れていることを示す。
• テキスト中に明示されていない場合、暗黙的推論の課題を露呈する。

提案手法

• Decomposition-and-Verification フレームワークを用いて、複雑な単一ターンの質問を地固められた多ターン対話へ変換する。
• 回答を原子事実に分解し、情報源と照合して検証し、各側面に対して焦点を絞ったサブ質問を生成する。
• 原子事実のカバレッジと明示的な検索推論信号に基づいて、各ターンの文書をスコアリング・選択する。
• 地固めと自然な会話の流れを保証するため、事実レベル・ターンレベル・会話レベルの3段階検証を提供する。
• BRIGHTとStackExchangeのソースから707件の会話（2,971ターン）を11ドメインにわたり構成し、文書は507,141件（2,900件ポジティブ、504,241件ハードネガティブ）を収集する。
• nDCG@10 を用いて、Reasoning-specialized および dense encoders の複数のリトリーバーで、History および History+Reasoning を含むさまざまなクエリ処理戦略で評価する。

実験結果

リサーチクエスチョン

• RQ1 Explicit reasoning の組み込みと会話履歴が、マルチターン CIR の検索効果にどのように影響するか。
• RQ2 Reasoning-specialized なリトリーバーは、推論集約的なマルチターン問合せで dense encoders より優れているか。
• RQ3 テキスト中で明示的に接続が記されていない場合、暗黙的推論の限界は何か。
• RQ4 Decomposition-and-Verification grounded generation Framework は、ドメインを跨ぐ多様で高品質な多ターン対話をどれだけ生み出せるか。

主な発見

Retriever	Base	QR	Reas	Hist	H+R
DIVER	.347	.430	.496	.545	.584
ReasonIR	.266	.357	.494	.496	.552
Qwen	.269	.345	.399	.425	.461
SFR	.240	.324	.396	.429	.464
BGE	.230	.328	.347	.411	.445
E5	.183	.272	.352	.404	.429
Contriever	.168	.232	.303	.366	.409
BM25	.185	.288	.360	.446	.489
Average	.236	.322	.393	.440	.479

• History+Reasoning は Baseline に対して検索性能を倍増させる（nDCG@10: .479 vs .236）。
• Reasoning-specialized リトリーバーは密エンコーダよりドメイン横断で優れており（例：History+Reasoning で DIVER が .584）。
• Baseline は後ターンで文脈依存性のため困難、History ベースの手法はターンを追うごとに改善する。
• 必要な接続がテキスト中に明示されていない場合、暗黙推論は依然として難しい。
• 人間と GPT-4o の評価は、Decomposition-and-Verification フレームワークの下で会話の質（自然さ、一貫性、地固め）を高く示した。