[論文レビュー] WebFAQ 2.0: A Multilingual QA Dataset with Mined Hard Negatives for Dense Retrieval

Michael Dinzinger, Laura Caspari+4 more|arXiv (Cornell University)|Feb 19, 2026

Topic Modeling被引用数 0

ひとこと要約

WebFAQ 2.0 は 198 百万の QA ペアを 104 言語に拡張し、Dense retrievers 用の mined hard negatives データセットを追加、複数のネガティブを用いた対比学習と MarginMSE を用いる訓練戦略を示し、多言語的影響を検証します。

ABSTRACT

We introduce WebFAQ 2.0, a new version of the WebFAQ dataset, containing 198 million FAQ-based natural question-answer pairs across 108 languages. Compared to the previous version, it significantly expands multilingual coverage and the number of bilingual aligned QA pairs to over 14.3M, making it the largest FAQ-based resource. Unlike the original release, WebFAQ 2.0 uses a novel data collection strategy that directly crawls and extracts relevant web content, resulting in a substantially more diverse and multilingual dataset with richer context through page titles and descriptions. In response to community feedback, we also release a hard negatives dataset for training dense retrievers, with 1.25M queries across 20 languages. These hard negatives were mined using a two-stage retrieval pipeline and include cross-encoder scores for 200 negatives per query. We further show how this resource enables two primary fine-tuning strategies for dense retrievers: Contrastive Learning with MultipleNegativesRanking loss, and Knowledge Distillation with MarginMSE loss. WebFAQ 2.0 is not a static resource but part of a long-term effort. Since late 2025, structured FAQs are being regularly released through the Open Web Index, enabling continuous expansion and refinement. We publish the datasets and training scripts to facilitate further research in multilingual and cross-lingual IR. The dataset itself and all related resources are publicly available on GitHub and HuggingFace.

研究の動機と目的

• 多言語 QA のカバレッジを 198 百万 QA ペア、104 言語へ拡張し、 multilingual dense retrieval をサポートする。
• バイリンガル QA アラインメントを 1430万超、高品質な hard negatives データセット（125 万の quintuple）を retriever の学習に提供する。
• dense retrievers のための二つのファインチューニング戦略を Enable する: Contrastive Learning with MultipleNegativesRanking loss and Knowledge Distillation with MarginMSE loss.
• mined hard negatives が cross-lingual retrieval の性能に与える影響を評価し、言語間のトレードオフを特定する。
• Open Web Index とオープンリソースを通じて WebFAQ の継続的拡張を促進し、再現性のある多言語 IR 研究を推進する。

提案手法

• OWLer を用いた FAQPage マークアップを含む URL をクロールして、よりリッチな文脈と多言語リンクを取得するデータ収集。
• FastText による言語検出と Jina v3 を用いた多言語 QA 埋め込みで類似性信号を作成し、テストセットを構築。
• LaBSE 埋め込みを用いたバイリンガル QA アラインメントを、3,970 言語ペアで最小類似度閾値0.9を適用して実施。
• hard negatives の生成は二段階プロセス: top 200 候補を BM25 で取得し、その後 cross-encoder による再ランキングで 1.25M quintuple を 20 言語で作成。
• dense retrievers の二つの訓練パラダイム: (i) Top4 あるいは Denoised な negatives を用いた MultipleNegativesRankingLoss の対照学習、(ii) cross-encoder スコアを soft targets とする MarginMSE 知識蒸留。

Figure 1 . WebFAQ is a massive, publicly available repository of natural question-answer pairs. The second version focuses on QAs aligned across languages and hard negative mining.

実験結果

リサーチクエスチョン

• RQ1 WebFAQ 2.0 は元の WebFAQ と比較して多言語 QA データをどの程度拡張したのか。
• RQ2 mined hard negatives が言語ファミリーを跨ぐ multilingual dense retriever の訓練に与える影響はどの程度か。
• RQ3 WebFAQ 2.0 データで訓練した際、対照学習と知識蒸留は cross-lingual retrieval の性能向上にどのように寄与するのか。
• RQ4 cross-encoder を用いた蒸留を適用した場合、英語と非英語間での性能のトレードオフはどうなるか。
• RQ5 WebFAQ 2.0 と Open Web Index は、多言語 QA ベンチマークの継続的でタイムリーな拡張を可能にするのか。

主な発見

• WebFAQ 2.0 は約 198 百万の QA ペアを 104 言語に含み、元のリリースの規模を倍以上拡大している。
• Cross-lingual QA アラインメントは 3,970 言語ペアで 1430万超に増加し、うち 1,282 ペアは少なくとも 4,000 サンプルを有する。
• dense retrievers の訓練用に 20 言語で 125万の quintuple からなる hard negatives データセットを公開。
• 二つの訓練アプローチを評価: MultipleNegativesRankingLoss を用いた対照学習と MarginMSE 知識蒸留、それぞれ言語依存の利点と留意点を持つ。
• mined hard negatives には偽陽性が多く、ランダム negatives が対照設定で hard negatives を上回る場合がある一方、MarginMSE は cross-encoder スコアの利用で利益を得つつ、英語性能を低下させる可能性がある。
• 知識蒸留は一般に非英語の取得性能をより一貫して改善する一方、hard negatives の英語寄りのトレーニングデータによって英語性能が犠牲になるトレードオフを生む可能性がある。