[論文レビュー] The Wisdom of Many Queries: Complexity-Diversity Principle for Dense Retriever Training

Xincan Feng, Noriki Nishida+2 more|arXiv (Cornell University)|Feb 10, 2026

Information Retrieval and Search Behavior被引用数 0

ひとこと要約

論文は Complexity-Diversity Principle (CDP) を提案し、クエリの複雑さが密集回収器 (dense retriever) におけるマルチクエリ多様性の有効性を規定することを示し、CW重み付け学習を提案してOOD一般化を強化する。

ABSTRACT

Synthetic query generation has become essential for training dense retrievers, yet prior methods generate one query per document, focusing solely on query quality. We are the first to systematically study multi-query synthesis and discover a quality-diversity trade-off: high-quality queries benefit in-domain tasks, while diverse queries benefit out-of-domain (OOD) generalization. Through controlled experiments on 4 benchmark types across Contriever, RetroMAE, and Qwen3-Embedding, we find that diversity benefit strongly correlates with query complexity (r$\geq$0.95, p<0.05), approximated by content words (CW). We formalize this as the Complexity-Diversity Principle (CDP): query complexity determines optimal diversity. Based on CDP, we propose complexity-aware training: multi-query synthesis for high-complexity tasks and CW-weighted training for existing data. Both strategies improve OOD performance on reasoning-intensive benchmarks, with compounded gains when combined.

研究の動機と目的

• 文書ごとに複数のクエリを生成するマルチクエリ合成が、1:1 のクエリ-文書ペアを超える密集回収器の一般化を改善するかを調査する。
• 合成クエリにおける品質と多様性のトレードオフを特徴づけ、イン-domain 内での多様性とドメイン外 (OOD) での多様性がいつ有益になるかを特定する。
• クエリの複雑さに基づく多様性を制御する指標と閾値を提案する。
• 回収器の訓練中に内容語ベースの複雑さを活用する CW重み付け学習を導入する。
• CDP の堅牢性を複数データセットと回収器アーキテクチャで示す。

提案手法

• 1回の大規模言語モデル呼び出し（temperature=0）で文書ごとにM個の多様なクエリを生成するゼロショット・マルチクエリ合成。
• 複数形式の多様なプロンプトを提案し（事実的、手続き的、因果、条件付き、キーワード、文、比較）、意味的多様性を誘導する。
• Quality-Diversity (Q-D) 指標を定義・計算する：品質のための Dist-Sim と Len-Sim、多様性のための CE と Self-BLEU。
• Diverseモード（真の意味的多様性）と Paraphraseモード（低多様性）を対照することで多様性の調整を導入する。
• クエリの複雑さを測る指標として Content Words (CW) を非ストップワードのユニーク語として定義し、バッチ内で正規化重みを用いた CW重み付け訓練を導入する（κ 切り捨て）。
• MS MARCO、BEIR、BRIGHT、マルチホップデータセットに対して Contriever、RetroMAE、Qwen3-Embedding 回収器を用いて評価する。
• CDP の妥当性をアーキテクチャ横断実験と外部パイプライン（ReasonEmbed）を用いて検証し、マルチクエリと CW重み付けの移植性を示す。

実験結果

リサーチクエスチョン

• RQ1 文書ごとに複数のクエリを生成するマルチクエリ合成は、特にOODで密集回収器の性能を向上させるか。
• RQ2 クエリの品質は多様性とどのように関連し、多様性が有益になる閾値を特定できるか。
• RQ3 クエリの複雑さ（CW）と訓練での多様性の有効性にはどのような関係があるか。
• RQ4 CW重み付け訓練はOOD一般化を改善できるか、そしてマルチクエリ戦略とどう相互作用するか。
• RQ5 CDP の発見は異なる回収器アーキテクチャやデータパイプライン間で一貫しているか。

主な発見

• マルチクエリ合成は品質-多様性のトレードオフを生む：イン-domain ではクエリ数が少ないほど品質が向上し、OOD では多様性が性能を押し上げる。
• 多様性の恩恵はクエリの複雑さ（CW）と強く相関し、多くの条件で r ≥ 0.95 を示し、CWベースの閾値を示唆する。
• CWベースの閾値：CW > 10 で多様性の利用を有利にする傾向；CW < 7 の場合は回避が望ましい；CW=7.9 程度で正の多様性影響を予測するカットオフが導出された。
• CW重み付け訓練は単一クエリデータでもOOD一般化を改善し、マルチクエリの多様性を補完する。
• 多様性はマルチホップや推論を要するタスクで最大の利得を生み、NovelHopQA が最も強い恩恵を示し、2WikiMultihopQA は一部設定で影響が小さいか、場合によっては若干の悪影響。
• このアプローチは回収器アーキテクチャ（Contriever、RetroMAE、Qwen3-Embedding）および外部データパイプライン（ReasonEmbed）を横断して移行する。