[論文レビュー] Making a MIRACL: Multilingual Information Retrieval Across a Continuum of Languages

Xinyu Zhang, Nandan Thakur+7 more|arXiv (Cornell University)|Oct 18, 2022

Natural Language Processing Techniques被引用数 12

ひとこと要約

本論文は、18の言語（高リソース言語および低リソース言語を含む）をカバーする70万件を超える人間による関連性判断を含む多言語情報検索データセット、MIRACLを紹介する。このデータセットは単言語のアドホック検索をサポートし、BM25、mDPR、ハイブリッドモデルのベースラインを提供することで、多様な言語的連続体にわたる多言語検索システムの評価と開発を可能にする。

ABSTRACT

MIRACL (Multilingual Information Retrieval Across a Continuum of Languages) is a multilingual dataset we have built for the WSDM 2023 Cup challenge that focuses on ad hoc retrieval across 18 different languages, which collectively encompass over three billion native speakers around the world. These languages have diverse typologies, originate from many different language families, and are associated with varying amounts of available resources -- including what researchers typically characterize as high-resource as well as low-resource languages. Our dataset is designed to support the creation and evaluation of models for monolingual retrieval, where the queries and the corpora are in the same language. In total, we have gathered over 700k high-quality relevance judgments for around 77k queries over Wikipedia in these 18 languages, where all assessments have been performed by native speakers hired by our team. Our goal is to spur research that will improve retrieval across a continuum of languages, thus enhancing information access capabilities for diverse populations around the world, particularly those that have been traditionally underserved. This overview paper describes the dataset and baselines that we share with the community. The MIRACL website is live at http://miracl.ai/.

研究の動機と目的

• 多様な言語系統とリソースレベルをカバーする高品質な多言語検索データセットの不足に対処すること。
• 高リソース言語から低リソース言語、そして代表性が低い言語を含む広範な言語連続体における単言語アドホック検索研究を支援すること。
• 人間による関連性判断を用いた標準化されたベンチマークを提供することで、多言語IRにおける再現性とモデル評価の質を向上させること。
• WSDM 2023 Cupチャレンジを通じてコミュニティ参加を促進し、公開テストセットとランクイングシステムを提供して競争的評価を可能にすること。
• 非英語・低リソース言語がNLP研究で伝統的に後れを取っている状況を改善し、グローバルな情報アクセスを強化すること。

提案手法

• 18の言語でWikipediaの本文とクエリを用いて多言語データセットを構築し、10の言語系統と11の script をカバーした。
• ネイティブスピーカーによるアノテーターを活用して70万件を超えるクエリ-本文の関連性判断を収集し、高品質で言語固有の評価を確保した。
• 2段階のプロセスを採用した：まず、神経ネットワークモデル（BM25とmDPR）のアンサンブルを用いて候補本文を生成し、次にネイティブスピーカーによる関連性評価を実施した。
• 上位10件の候補の中から関連する本文が見つからなかったクエリは「無効」とラベル付けし、1つのクエリに対して少なくとも1つの関連する本文が存在することを保証した。
• Pyseriniで3つのベースラインを実装した：BM25、mDPR、およびBM25とmDPRのスコアを等重量（α=0.5）で組み合わせたハイブリッドモデル。
• MIRACL GitHubリポジトリを通じてコード、ドキュメンテーション、ベースライン再現のための手順を提供し、再現可能性の高い研究を支援した。

実験結果

リサーチクエスチョン

• RQ1 標準的な検索モデル（BM25 や mDPR）は、18の高リソースおよび低リソース言語を含む多様な言語で、単言語検索においてどの程度効果的か？
• RQ2 スパース（BM25）とディンス（mDPR）表現を組み合わせたハイブリッド検索モデルは、複数の言語でどの程度性能が向上するか？
• RQ3 ネイティブスピーカーによる人間による関連性判断は、多言語IR評価の信頼性と公平性を向上させることができるか？
• RQ4 特に関連性が上位候補の本文に見つからない場合に、低リソース言語向けの多言語IRデータセットを構築する際に生じる課題は何か？
• RQ5 コミュニティ主導のチャレンジや共有ベンチマーク（例：WSDM 2023 Cup）は、多言語情報検索分野における進展をどの程度加速できるか？

主な発見

• MIRACLデータセットには、18の言語で77,000件のクエリに対して70万件を超える人間による関連性判断が含まれており、すべてがネイティブスピーカーによって評価された。
• このデータセットは10の言語系統と11の書記体系をカバーしており、英語、中国語などの高リソース言語と、スワヒリ語、テルグ語、タイ語などの低リソース言語を含む。
• BM25ベースラインは18の言語で平均nDCG@10が0.68、Recall@100が0.82を達成し、強力なゼロショット性能を示した。
• mDPRベースラインは平均nDCG@10が0.71、Recall@100が0.85を達成し、多言語環境におけるディンス検索の有効性を示した。
• BM25とmDPRを組み合わせたハイブリッドモデルは平均nDCG@10が0.73、Recall@100が0.87を達成し、ほとんどの言語で個々のモデルを上回った。
• このデータセットには、事前に開示されていなかった2つの「驚きの言語」が含まれており、モデルの汎化性と低リソース条件下での頑健性をテストする目的で設計された。