[논문 리뷰] The Wisdom of Many Queries: Complexity-Diversity Principle for Dense Retriever Training

Xincan Feng, Noriki Nishida외 2명|arXiv (Cornell University)|2026. 02. 10.

Information Retrieval and Search Behavior인용 수 0

한 줄 요약

본 논문은 Complexity-Diversity Principle(CDP)을 소개하며, 쿼리 복잡도가 다중 쿼리 다양성이 밀집 retriever의 성능 개선에 영향을 주는 시점을 규정하고, OOD 일반화 능력을 높이기 위한 CW-가중 학습을 제안한다.

ABSTRACT

Synthetic query generation has become essential for training dense retrievers, yet prior methods generate one query per document, focusing solely on query quality. We are the first to systematically study multi-query synthesis and discover a quality-diversity trade-off: high-quality queries benefit in-domain tasks, while diverse queries benefit out-of-domain (OOD) generalization. Through controlled experiments on 4 benchmark types across Contriever, RetroMAE, and Qwen3-Embedding, we find that diversity benefit strongly correlates with query complexity (r$\geq$0.95, p<0.05), approximated by content words (CW). We formalize this as the Complexity-Diversity Principle (CDP): query complexity determines optimal diversity. Based on CDP, we propose complexity-aware training: multi-query synthesis for high-complexity tasks and CW-weighted training for existing data. Both strategies improve OOD performance on reasoning-intensive benchmarks, with compounded gains when combined.

연구 동기 및 목표

• 문서당 다중 쿼리 생성을 통해 다중-쿼리 합성(Multi-query synthesis)이 밀집 retriever 일반화 성능을 1:1 쿼리-문서 쌍을 넘어 향상시키는지 조사한다.
• 합성 쿼리의 품질-다양성(trade-off)을 특성화하고, 다양성이 내재하는 도메인 내(In-domain)와 도메인 밖(OOD)에서 이점이 달라지는지 식별한다.
• 쿼리 복잡도에 기반한 다양성 제어를 위한 메트릭스와 임계값을 제시한다.
• retriever 학습 과정에서 콘텐츠 단어 기반의 복잡도를 활용하기 위한 CW-가중 학습을 소개한다.
• 다양한 데이터세트 및 retriever 아키텍처에서 CDP의 견고성을 입증한다.

제안 방법

• 단일 LLM 호출(temperature=0)로 문서당 M개의 다양한 쿼리를 생성하는 제로샷 다중 쿼리 합성.
• 다양한 포맷(사실적, 절차적, 인과적, 조건부, 키워드, 진술, 비교)으로 의미적 다양성을 유도하는 다양한 프롬프트를 제시한다.
• 품질-다양성(Q-D) 측정치를 정의하고 계산한다: 품질은 Dist-Sim 및 Len-Sim, 다양성은 CE 및 Self-BLEU로 측정한다.
• 진정한 의미 다양성인 Diverse 모드와 낮은 다양성인 Paraphrase 모드를 대조하여 다양성 튜닝을 도입한다.
• 쿼리 복잡도 측정으로 고유 비중지 단어를 CW로 정의하고 배치 단위로 정규화된 가중치 κ 절단을 도입한 CW-가중 학습을 도입한다.
• Contriever, RetroMAE, Qwen3-Embedding retriever를 사용하여 MS MARCO, BEIR, BRIGHT 및 멀티홉 데이터세트에서 평가한다.
• 다양한 아키텍처 간 교차 실험 및 외부 파이프라인(ReasonEmbed)을 통한 CDP의 보편성(전이성)을 검증한다.

실험 결과

연구 질문

• RQ1 문서당 다중 쿼리 생성을 통해 다중-쿼리 합성이 밀집 retriever의 성능을 향상시키며 특히 도메인 밖에서 유의미한가?
• RQ2 쿼리 품질은 다양성과 어떤 관계가 있으며, 다양성이 유의미하게 이익을 주는 임계값을 식별할 수 있는가?
• RQ3 쿼리 복잡도(CW)와 학습에서 다양성의 효과 간의 관계는 무엇인가?
• RQ4 CW-가중 학습이 OOD 일반화를 향상시키고, 다중 쿼리 전략과 어떻게 상호작용하는가?
• RQ5 CDP 발견이 서로 다른 retriever 아키텍처와 데이터 파이프라인에서 일관적인가?

주요 결과

• 다중 쿼리 합성은 품질-다양성의 트레이드오프를 초래한다: 도메인 내 품질은 쿼리 수가 적을 때 향상되고, 다양성은 OOD 성능을 높인다.
• 다양성 이점은 쿼리 복잡도(CW)와 강하게 상관관계가 있으며, 많은 조건에서 r ≥ 0.95로 CW 기반 임계값을 시사한다.
• CW 기반 임계값: CW > 10은 다양성 사용을 선호하고, CW < 7은 피하는 것이 좋으며, 양의 다양성 영향 예측에 대해 CW=7.9 근처에서 절단치가 도출됨.
• CW-가중 학습은 단일 쿼리 데이터에서도 OOD 일반화를 향상시키고, 다중 쿼리 다양성과 상호보완적이다.
• 다양성은 다중 홉 및 추론 집중형 작업에서 가장 큰 이득을 주며, NovelHopQA가 가장 강한 이점을 보이고 2WikiMultihopQA는 일부 설정에서 영향이 작거나 약간 해로운 경향을 보인다.
• 이 접근법은 서로 다른 retriever 아키텍처(Contriever, RetroMAE, Qwen3-Embedding) 간 및 외부 데이터 파이프라인(ReasonEmbed) 간에 전달된다.