[논문 리뷰] WebFAQ 2.0: A Multilingual QA Dataset with Mined Hard Negatives for Dense Retrieval

Michael Dinzinger, Laura Caspari외 4명|arXiv (Cornell University)|2026. 02. 19.

Topic Modeling인용 수 0

한 줄 요약

WebFAQ 2.0은 104개 언어에 걸쳐 약 1억9800만 개의 QA 쌍으로 확장되며, 밀집 검색기를 위한 채굴된 하드 네거티브 데이터셋을 추가하고, 다국어 맥락에서의 시사점을 가진 학습 전략(다중 부정 대조 학습과 MarginMSE)을 시연한다.

ABSTRACT

We introduce WebFAQ 2.0, a new version of the WebFAQ dataset, containing 198 million FAQ-based natural question-answer pairs across 108 languages. Compared to the previous version, it significantly expands multilingual coverage and the number of bilingual aligned QA pairs to over 14.3M, making it the largest FAQ-based resource. Unlike the original release, WebFAQ 2.0 uses a novel data collection strategy that directly crawls and extracts relevant web content, resulting in a substantially more diverse and multilingual dataset with richer context through page titles and descriptions. In response to community feedback, we also release a hard negatives dataset for training dense retrievers, with 1.25M queries across 20 languages. These hard negatives were mined using a two-stage retrieval pipeline and include cross-encoder scores for 200 negatives per query. We further show how this resource enables two primary fine-tuning strategies for dense retrievers: Contrastive Learning with MultipleNegativesRanking loss, and Knowledge Distillation with MarginMSE loss. WebFAQ 2.0 is not a static resource but part of a long-term effort. Since late 2025, structured FAQs are being regularly released through the Open Web Index, enabling continuous expansion and refinement. We publish the datasets and training scripts to facilitate further research in multilingual and cross-lingual IR. The dataset itself and all related resources are publicly available on GitHub and HuggingFace.

연구 동기 및 목표

• 다국어 QA 커버리지를 104개 언어의 약 1억9800만 QA 쌍으로 확장하여 다국어 밀집 검색을 지원합니다.
• 훈련용 검색기 구축을 위한 이중 언어 QA 정렬(1,430만 쌍 이상)과 125만 개의 5원소 튜플의 고품질 하드 네가티브 데이터셋을 제공합니다.
• 밀집 검색기를 위한 두 가지 미세 조정 전략을 가능하게 합니다: MultipleNegativesRanking 손실을 이용한 대조 학습과 MarginMSE 손실을 이용한 지식 증류.
• 채굴된 하드 네거티브가 교차 언어 검색 성능에 미치는 영향을 평가하고 언어 간 트레이드오프를 식별합니다.
• 다재다능한 다국어 IR 연구 재현성을 위한 공개 웹 인덱스(Open Web Index) 및 공개 자원을 통해 WebFAQ의 지속적 확장을 촉진합니다.

제안 방법

• 더 풍부한 맥락과 다국어 링크를 얻기 위해 FAQPage schema.org 마크업을 포함한 URL을 OWLer로 크롤링하여 데이터를 수집합니다.
• FastText를 이용한 언어 탐지와 Jina v3의 다국어 QA 임베딩으로 유사도 신호를 생성하고 테스트 세트를 구성합니다.
• LaBSE 임베딩을 이용한 이중 언어 QA 정렬에서 최소 유사도 임계치 0.9를 3,970개 언어 쌍에 걸쳐 적용합니다.
• 두 단계 프로세스를 통한 하드 네거티브 생성: 상위 200개 후보를 BM25로 검색하고, 그다음 cross-encoder reranking을 BGE-m3로 수행하여 20개 언어에 걸쳐 1.25M 다섯 원소 튜플을 형성합니다.
• 밀집 검색기를 위한 두 가지 학습 패러다임: (i) Top4 또는 Denoised 음수들을 사용하는 MultipleNegativesRankingLoss를 이용한 대조 학습, (ii) cross-encoder 점수를 소프트 타깃으로 사용하는 MarginMSE 지식 증류.

Figure 1 . WebFAQ is a massive, publicly available repository of natural question-answer pairs. The second version focuses on QAs aligned across languages and hard negative mining.

실험 결과

연구 질문

• RQ1 WebFAQ 2.0은 원래의 WebFAQ와 비교해 다국어 QA 데이터를 어떻게 확장하나요?
• RQ2 언어 계통에 걸친 다국어 밀집 검색기 학습에서 채굴된 하드 네거티브의 영향은 무엇인가요?
• RQ3 WebFAQ 2.0 데이터를 이용해 학습시켰을 때 대조 학습과 지식 증류가 교차 언어 검색 성능 향상에 어떻게 기여하나요?
• RQ4 크로스 엔코더 기반의 증류를 사용할 때 영어 대 비영어 성능의 트레이드오프는 무엇인가요?
• RQ5 WebFAQ 2.0과 Open Web Index가 다국어 QA 벤치마크의 지속적이고 시의적절한 확장을 가능하게 할 수 있나요?

주요 결과

• WebFAQ 2.0은 104개 언어에 걸친 약 1억9800만 개의 QA 쌍을 포함하며, 원래 버전보다 규모가 두 배 이상 커졌다.
• 교차-lingual QA 정렬은 3,970개 언어 쌍에 걸쳐 14.3백만 개가 넘고, 1,282 쌍은 최소 4,000개 샘플을 보유한다.
• 밀집 검색기 학습을 위한 20개 언어에 걸친 125만 개의 5원소 튜플로 이루어진 하드 네거티브 데이터셋이 공개된다.
• 두 가지 학습 접근법을 평가: MultipleNegativesRankingLoss를 이용한 대조 학습과 MarginMSE 지식 증류, 각각 언어 의존적 이점과 주의점이 있다.
• 채굴된 하드 네거티브에 거짓 부정이 만연하고, 대조 구성에서 무작위 부정이 때때로 하드 부정보다 우수한 경우가 있으며, MarginMSE는 cross-encoder 점수를 활용하는 혜택이 있지만 영어 성능이 감소할 수 있다.
• 지식 증류는 일반적으로 비영어 검색 성능을 더 일관되게 향상시키지만, 하드 네거티브의 영어 중심 학습 데이터로 인해 영어 성능이 트레이드오프될 수 있다.