[論文レビュー] mMARCO: A Multilingual Version of the MS MARCO Passage Ranking Dataset

Luiz Bonifacio, Jeronymo, Vitor+5 more|arXiv (Cornell University)|Aug 31, 2021

Topic Modeling参考文献 43被引用数 18

ひとこと要約

本稿では、機械翻訳を用いて13の言語に翻訳されたMS MARCOパラグラフランクイングデータセットの多言語版であるmMARCOを紹介する。著者らは、mMARCOで多言語モデルを微調整することで、Mr. TyDiにおけるゼロショット性能が向上することを示し、翻訳品質と検索効果性の相関が確認された。これにより、多言語IRにおける高品質な翻訳の有用性が裏付けられた。

ABSTRACT

The MS MARCO ranking dataset has been widely used for training deep learning models for IR tasks, achieving considerable effectiveness on diverse zero-shot scenarios. However, this type of resource is scarce in languages other than English. In this work, we present mMARCO, a multilingual version of the MS MARCO passage ranking dataset comprising 13 languages that was created using machine translation. We evaluated mMARCO by finetuning monolingual and multilingual reranking models, as well as a multilingual dense retrieval model on this dataset. We also evaluated models finetuned using the mMARCO dataset in a zero-shot scenario on Mr. TyDi dataset, demonstrating that multilingual models finetuned on our translated dataset achieve superior effectiveness to models finetuned on the original English version alone. Our experiments also show that a distilled multilingual reranker is competitive with non-distilled models while having 5.4 times fewer parameters. Lastly, we show a positive correlation between translation quality and retrieval effectiveness, providing evidence that improvements in translation methods might lead to improvements in multilingual information retrieval. The translated datasets and finetuned models are available at https://github.com/unicamp-dl/mMARCO.

研究の動機と目的

• 英語以外の言語における神経IRモデルのトレーニングおよび評価データの不足に対処する。
• 機械翻訳を用いて、元のMS MARCOデータセットを13言語に翻訳することで、高品質な多言語パラグラフランクイングデータセットを構築する。
• 翻訳されたデータセットで微調整された単言語および多言語モデルの、ゼロショットおよびドメイン内設定における有効性を評価する。
• 翻訳品質が下流の検索性能に与える影響を調査し、翻訳データの信頼性を検証する。
• mMARCOデータセットおよび微調整済みモデルを公開することで、多言語IRのベンチマークを提供する。

提案手法

• 神経機械翻訳モデルを用いて、MS MARCOのトレーニングおよび評価セットを13言語（例：ポルトガル語、スペイン語、ドイツ語、中国語、ロシア語）に翻訳する。
• 翻訳品質の評価にHelsinki-NLP翻訳モデルを用い、Tatoebaデータセット上でBLEUスコアを測定する。
• mMiniLM、mT5、mBERTなどのTransformerベースの単語・多言語モデルを、mMARCOデータセット上で微調整し、ドキュメントの密度検索およびリランクタスクを実行する。
• ゼロショットクロスリンガル設定で、Mr. TyDiベンチマーク上で微調整済みモデルの性能を評価し、転送可能性を検証する。
• より効率的で性能の高いモデルを比較するため、mMiniLMを用いて蒸留された多言語リランカーを訓練する。
• 言語ごとに翻訳品質（BLEU）と検索効果性（MRR@10）の相関関係を分析する。

実験結果

リサーチクエスチョン

• RQ1 機械翻訳されたMS MARCOデータは、多言語IRモデルの微調整にどの程度有効に機能するか？
• RQ2 mMARCOで多言語モデルを微調整することで、未学習言語におけるゼロショット性能が、単語モデルの微調整よりも向上するか？
• RQ3 翻訳品質（BLEU）と多言語IRにおける検索効果性の相関関係は？
• RQ4 mMARCOで微調整された蒸留多言語モデルは、大規模モデルと同等の性能を達成できるか？
• RQ5 特に低リソース言語において、mMARCOで多言語微調整を行うことで、単語微調整よりも優れた性能が得られるか？

主な発見

• mMARCOで微調整された多言語モデルは、Mr. TyDiベンチマークにおけるゼロショット評価で、元の英語版MS MARCOデータのみで微調整されたモデルよりも優れた性能を示した。
• mT5モデルをmMARCO（英語およびポルトガル語を含む）で微調整した結果、ポルトガル語MS MARCOサブセットでMRR@10が0.728に達し、単語モデルを上回った。
• 蒸留されたmMiniLMリランカーは、非蒸留モデルと比較して5.4倍少ないパラメータ数で競争力のある性能を達成した。
• 翻訳品質（BLEU）と検索効果性（MRR@10）の間に弱いが正の相関（R² ≈ 0.33）が確認され、より良い翻訳がより良いIR結果をもたらすことが示された。
• ローマ字以外の script（例：中国語、ロシア語）では、商用翻訳モデルがオープンソースモデルを上回った。これは、言語固有の翻訳品質がIR性能に影響を与える可能性を示唆している。
• mMARCOで多言語微調整されたモデルは、英語およびポルトガル語の両方で、単語微調整モデルとほぼ同等の性能を示した。これにより、翻訳データの信頼性が裏付けられた。