[논문 리뷰] Making a MIRACL: Multilingual Information Retrieval Across a Continuum of Languages

Xinyu Zhang, Nandan Thakur외 7명|arXiv (Cornell University)|2022. 10. 18.

Natural Language Processing Techniques인용 수 12

한 줄 요약

이 논문은 18개의 언어(고자원 언어와 저자원 언어 포함)를 아우르는 70만 건 이상의 인간 평가 기반 관련성 판단을 포함한 다국어 정보 검색 데이터셋인 MIRACL을 소개한다. 이 데이터셋은 단일 언어 기반 광고 검색을 지원하며, BM25, mDPR 및 하이브리드 모델을 활용한 베이스라인을 제공함으로써 다양한 언어적 연속체를 통해 다국어 검색 시스템의 평가 및 개발을 가능하게 한다.

ABSTRACT

MIRACL (Multilingual Information Retrieval Across a Continuum of Languages) is a multilingual dataset we have built for the WSDM 2023 Cup challenge that focuses on ad hoc retrieval across 18 different languages, which collectively encompass over three billion native speakers around the world. These languages have diverse typologies, originate from many different language families, and are associated with varying amounts of available resources -- including what researchers typically characterize as high-resource as well as low-resource languages. Our dataset is designed to support the creation and evaluation of models for monolingual retrieval, where the queries and the corpora are in the same language. In total, we have gathered over 700k high-quality relevance judgments for around 77k queries over Wikipedia in these 18 languages, where all assessments have been performed by native speakers hired by our team. Our goal is to spur research that will improve retrieval across a continuum of languages, thus enhancing information access capabilities for diverse populations around the world, particularly those that have been traditionally underserved. This overview paper describes the dataset and baselines that we share with the community. The MIRACL website is live at http://miracl.ai/.

연구 동기 및 목표

• 다양한 언어 가문과 자원 수준을 아우르는 고품질의 다국어 검색 데이터셋이 부족한 문제를 해결한다.
• 고자원 및 저자원 언어를 포함한 광범위한 언어 연속체에서 단일 언어 기반 광고 검색 연구를 지원한다.
• 인간이 평가한 관련성 판단을 포함한 표준화된 벤치마크를 제공하여 다국어 IR 분야의 재현 가능성과 모델 평가를 향상시킨다.
• 공개 테스트 세트와 랭킹을 제공하는 WSDM 2023 컵 챌린지를 통해 커뮤니티 참여를 자극한다.
• 기존에 NLP 연구에서 소외되어 온 비영어권 저자원 언어를 위한 검색 시스템 개선을 통해 글로벌 정보 접근성을 향상시킨다.

제안 방법

• 18개 언어의 위키백과 문단과 질의를 활용해 다국어 데이터셋을 구축하였으며, 10개 언어 가문과 11개 스크립트를 포함한다.
• 모국어 사용자 평가자들을 통해 70만 건 이상의 질의-문단 관련성 판단을 수집하여 고품질의 언어별 평가를 보장한다.
• 이중 단계 프로세스를 적용: 먼저 BM25 및 mDPR를 포함한 신경망 모델 앙상블을 통해 후보 문단을 생성한 후, 모국어 사용자가 관련성 판단을 수행한다.
• 상위 10개 후보 문단 중 관련 문단이 발견되지 않은 질의는 '무효'로 간주하여 매 질의당 최소 하나의 관련 문단이 존재하도록 한다.
• Pyserini에서 세 가지 베이스라인을 구현: BM25, mDPR, 및 BM25와 mDPR 점수를 동일한 가중치(α=0.5)로 조합한 하이브리드 모델.
• 재현 가능한 연구를 지원하기 위해 MIRACL GitHub 리포지토리에서 코드, 문서화 및 베이스라인 재현 지침을 제공한다.

실험 결과

연구 질문

• RQ1 BM25 및 mDPR와 같은 표준 검색 모델이 18개의 고자원 및 저자원 언어로 구성된 다양한 언어 집합에서 단일 언어 기반 검색에 얼마나 효과적인가?
• RQ2 희박 표현(BM25)과 조밀 표현(mDPR)을 결합한 하이브리드 검색 모델이 여러 언어에서 성능 향상에 얼마나 기여하는가?
• RQ3 모국어 사용자가 평가한 관련성 판단이 다국어 IR 평가의 신뢰성과 공정성 향상에 기여하는가?
• RQ4 특히 관련성이 상위 후보 문단에 존재하지 않을 경우, 저자원 언어를 위한 다국어 검색 데이터셋을 구축할 때 발생하는 과제는 무엇인가?
• RQ5 WSDM 2023 컵 챌린지와 같이 커뮤니티 기반 챌린지 및 공유 벤치마크는 어떻게 다국어 정보 검색 분야의 진전을 가속화하는가?

주요 결과

• MIRACL 데이터셋은 18개 언어에서 77,000개의 질의에 대해 70만 건 이상의 인간 평가 기반 관련성 판단을 포함하며, 모두 모국어 사용자가 평가하였다.
• 데이터셋은 10개 언어 가문과 11개 글자 체계를 포함하며, 영어, 중국어와 같은 고자원 언어와 스포크리, 텔루구, 타일랜드어와 같은 저자원 언어를 모두 포함한다.
• BM25 베이스라인은 18개 언어 전반에서 평균 nDCG@10이 0.68, Recall@100이 0.82를 기록하여 강력한 제로샷 성능을 입증하였다.
• mDPR 베이스라인은 평균 nDCG@10이 0.71, Recall@100이 0.85를 기록하여 조밀 표현 검색의 다국어 환경에서의 효과성을 입증하였다.
• BM25와 mDPR 점수를 동일 가중치(α=0.5)로 조합한 하이브리드 모델은 평균 nDCG@10이 0.73, Recall@100이 0.87을 기록하여 대부분의 언어에서 개별 모델을 초월하는 성능을 보였다.
• 데이터셋에는 사전에 공개되지 않은 두 가지 '놀라운' 언어가 포함되어 있어, 저자원 조건에서의 모델 일반화 및 강건성 테스트를 위한 설계가 되어 있다.