[논문 리뷰] mMARCO: A Multilingual Version of the MS MARCO Passage Ranking Dataset

Luiz Bonifacio, Jeronymo, Vitor외 5명|arXiv (Cornell University)|2021. 08. 31.

Topic Modeling참고 문헌 43인용 수 18

한 줄 요약

이 논문은 기계 번역을 통해 13개의 언어로 번역된 MS MARCO 문단 랭킹 데이터셋인 mMARCO를 소개한다. 저자들은 mMARCO에서 다국어 모델을 미세조정하면 Mr. TyDi에서의 제로샷 성능이 향상되며, 번역 품질과 검색 효과성 간의 상관관계가 있음을 입증하여 고품질 번역의 다국어 정보 검색에 대한 유용성을 검증한다.

ABSTRACT

The MS MARCO ranking dataset has been widely used for training deep learning models for IR tasks, achieving considerable effectiveness on diverse zero-shot scenarios. However, this type of resource is scarce in languages other than English. In this work, we present mMARCO, a multilingual version of the MS MARCO passage ranking dataset comprising 13 languages that was created using machine translation. We evaluated mMARCO by finetuning monolingual and multilingual reranking models, as well as a multilingual dense retrieval model on this dataset. We also evaluated models finetuned using the mMARCO dataset in a zero-shot scenario on Mr. TyDi dataset, demonstrating that multilingual models finetuned on our translated dataset achieve superior effectiveness to models finetuned on the original English version alone. Our experiments also show that a distilled multilingual reranker is competitive with non-distilled models while having 5.4 times fewer parameters. Lastly, we show a positive correlation between translation quality and retrieval effectiveness, providing evidence that improvements in translation methods might lead to improvements in multilingual information retrieval. The translated datasets and finetuned models are available at https://github.com/unicamp-dl/mMARCO.

연구 동기 및 목표

• 영어 이외의 언어에 대한 신경 정보 검색 모델의 훈련 및 평가 데이터 부족 문제를 해결한다.
• 기계 번역을 활용해 원본 MS MARCO 데이터셋을 13개의 언어로 고품질로 번역하여 다국어 문단 랭킹 데이터셋을 구축한다.
• 번역된 데이터셋에서 훈련된 단일언어 및 다국어 모델의 제로샷 및 도메인 내 설정에서의 성능을 평가한다.
• 번역 품질이 최종 검색 성능에 미치는 영향을 조사하여 번역 데이터의 신뢰성을 검증한다.
• mMARCO 데이터셋 및 미세조정된 모델을 공개하여 다국어 정보 검색의 벤치마크를 제공한다.

제안 방법

• 신경 기계 번역 모델을 사용해 MS MARCO 훈련 및 평가 세트를 13개의 언어(예: 포르투갈어, 스페인어, 독일어, 중국어, 러시아어)로 번역한다.
• 번역 품질 평가를 위해 헬싱키-NLP 번역 모델을 사용하며, Tatoeba 데이터셋에서 BLEU 점수를 활용한다.
• mMiniLM, mT5, mBERT 등 다국어 기반 트랜스포머 모델을 mMARCO 번역 데이터셋에 대해 미세조정하여 밀도 기반 검색 및 재랭킹 작업을 수행한다.
• 제로샷 다국어 설정에서 Mr. TyDi 벤치마크에서 미세조정된 모델의 성능을 평가하여 이식 가능성(전이 능력)을 분석한다.
• 더 큰 모델 대비 효율성과 성능을 비교하기 위해 다국어 재랭킹 모델(mMiniLM)을 정제하여 학습한다.
• 다양한 언어 간에 번역 품질(BLEU)과 검색 효과성(MRR@10) 간의 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 기계 번역된 MS MARCO 데이터는 다국어 정보 검색 모델의 효과적인 미세조정을 얼마나 잘 지원할 수 있는가?
• RQ2 mMARCO에서 다국어 모델을 미세조정하면, 단일언어 미세조정 대비 새로운 언어에서의 제로샷 성능이 향상되는가?
• RQ3 BLEU로 측정한 번역 품질과 다국어 정보 검색에서의 검색 효과성 간의 상관관계는 어떠한가?
• RQ4 mMARCO에서 미세조정된 정제된 다국어 모델은 더 큰 모델에 비해 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 특히 자원이 적은 언어에 대해, mMARCO에서의 다국어 미세조정이 단일언어 미세조정보다 더 높은 성능을 내는가?

주요 결과

• mMARCO에서 다국어 모델을 미세조정한 결과, Mr. TyDi 벤치마크에서 제로샷 평가 시 원본 영어 MS MARCO 데이터셋에서만 미세조정한 모델보다 성능이 뛰어나다.
• 영어 및 포르투갈어를 포함한 다국어 mMARCO에서 미세조정한 mT5 모델은 포르투갈어 MS MARCO 서브셋에서 MRR@10이 0.728을 기록하여 단일언어 모델을 초월한다.
• 정제된 mMiniLM 재랭킹 모델은 비정제된 모델 대비 5.4배 적은 파라미터(5.4배 적은 수의 파라미터)로도 경쟁 가능한 성능을 달성했다.
• 번역 품질(BLEU)과 검색 효과성(MRR@10) 간에 약한 양의 상관관계(R² ≈ 0.33)가 존재하여, 더 나은 번역이 더 나은 정보 검색 결과를 이끌어낸다는 것을 시사한다.
• 비라틴 문자(예: 중국어, 러시아어)에서는 상용 번역 모델이 오픈소스 모델보다 성능이 뛰어나, 언어 특화 번역 품질이 정보 검색 성능에 영향을 줄 수 있음을 시사한다.
• mMARCO에서의 다국어 미세조정은 영어 및 포르투갈어 모두에서 단일언어 모델과 거의 유사한 성능을 내어 번역 데이터의 견고성을 입증한다.