[논문 리뷰] Towards Best Practices for Training Multilingual Dense Retrieval Models

Xinyu Zhang, Kelechi Ogueji외 2명|arXiv (Cornell University)|2022. 04. 05.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 다국어 밀도 기반 검색 모델을 훈련하기 위한 경험적 근거에 기반한 최적의 실천 방법을 제시하며, 다양한 언어 유형을 가진 언어 간의 단일 언어 검색에 초점을 맞춘다. 다국어 BERT를 통해 언어 간에 공유되는 서브워드 토큰이 특히 강력한 다국어 간 전이를 가능하게 하며, 이는 서로 다른 스크립트 간에도 적용됨을 보여준다. 또한 영문 MS MARCO 데이터에서의 사전 미세조정이 관련성이 없는 언어에서도 성능 향상을 이끌어내는 것으로 나타났다.

ABSTRACT

Dense retrieval models using a transformer-based bi-encoder design have emerged as an active area of research. In this work, we focus on the task of monolingual retrieval in a variety of typologically diverse languages using one such design. Although recent work with multilingual transformers demonstrates that they exhibit strong cross-lingual generalization capabilities, there remain many open research questions, which we tackle here. Our study is organized as a "best practices" guide for training multilingual dense retrieval models, broken down into three main scenarios: where a multilingual transformer is available, but relevance judgments are not available in the language of interest; where both models and training data are available; and, where training data are available not but models. In considering these scenarios, we gain a better understanding of the role of multi-stage fine-tuning, the strength of cross-lingual transfer under various conditions, the usefulness of out-of-language data, and the advantages of multilingual vs. monolingual transformers. Our recommendations offer a guide for practitioners building search applications, particularly for low-resource languages, and while our work leaves open a number of research questions, we provide a solid foundation for future work.

연구 동기 및 목표

• 저자원 및 비영어 언어에서 다국어 밀도 기반 검색 모델을 훈련하기 위한 실용적이고 증거 기반의 가이드를 수립하기 위해.
• 목표 언어에서 관련성 평가 데이터가 가용하지 않을 경우, 다국어 간 전이의 효과성을 조사하기 위해.
• 다단계 미세조정, 비대상 언어 데이터, 단일 언어 모델 대 다국어 모델의 영향을 검색 성능에 대해 평가하기 위해.
• 특히 공유 서브워드와 매개변수 공유를 통해 다국어 BERT에서 다국어 간 전이가 어떻게 가능해지는지 그 기초 메커니즘을 이해하기 위해.
• 특히 저자원 언어를 대상으로 하는 다국어 검색 시스템을 구축하는 실무자들에게 실행 가능한 권고 사항을 제공하기 위해.

제안 방법

• 밀도 기반 검색을 위한 기본 모델로 Dense Passage Retriever (DPR) 이중 인코더 아키텍처를 사용한다.
• 다단계 미세조정을 적용한다: 먼저 영문 MS MARCO 데이터에서 사전 미세조정을 수행한 후, 가능할 경우 목표 언어 데이터에서의 미세조정을 수행한다.
• mBERT 토크나이저를 사용하여 서로 다른 언어의 코퍼스 간 서브워드 겹침을 분석함으로써 언어 간 공통 어휘의 정도를 정량화한다.
• 다국어 BERT(mBERT)와 비슷한 언어의 BERT(예: 영문 BERT)를 비영어 언어 데이터에서 미세조정한 결과를 비교하여 전이 가능성의 정도를 평가한다.
• 언어 가문과 스크립트 간의 다국어 간 전이 성능을 평가하며, 예를 들어 영어에서 아랍어 또는 태국어에서 텔루구어로의 전이 사례를 포함한다.
• 표준 정보 검색 메트릭(예: Recall@10, 평균 역수 순위)을 사용하여 다양한 언어 쌍 간의 성능을 측정한다.

실험 결과

연구 질문

• RQ1 영문 MS MARCO 데이터에서의 사전 미세조정이 저자원 언어, 특히 영어와 관련성이 없는 언어에서 검색 성능 향상에 기여하는가?
• RQ2 언어 간 서브워드 겹침이 다국어 BERT에서의 다국어 간 전이를 얼마나 설명하는가?
• RQ3 비영어 언어에서 미세조정된 단일 언어 BERT 모델이 다국어 사전 미세조정 없이도 해당 언어에서 우수한 성능을 낼 수 있는가?
• RQ4 원본 언어와 목표 언어가 서로 다른 스크립트를 사용할 경우(예: 라틴 문자 대 커릴리안 문자 또는 아랍 문자), 다국어 간 전이의 효과는 어떠한가?
• RQ5 공유된 모델 매개변수와 다국어 앵커는 서로 관련이 없는 언어 간 전이를 어떻게 가능하게 하는가?

주요 결과

• MS MARCO(영문)에서의 사전 미세조정은 목표 언어가 영어와 관련성이 없더라도 검색 성능 향상에 항상 기여하며, 성능 저하를 유발할 가능성은 거의 없다.
• 태국어 데이터에서 미세조정한 mBERT가 아랍어 검색에서 뛰어난 성능을 보이며, 이는 서로 다른 스크립트와 언어 가문 간에도 다국어 간 전이가 효과적임을 시사한다.
• 러시아어 관련성 평가 데이터에서 미세조정한 단일 영문 BERT 모델이 러시아어에서 경쟁적인 성능을 보이며, 이는 공유 서브워드와 다국어 앵커가 효과적인 전이를 가능하게 함을 나타낸다.
• 언어 간 서브워드 겹침 비율은 상당히 높다 — 예를 들어 아랍어 서브워드의 87.2%와 영문 서브워드의 62.2%가 공통으로 사용된다 — 이는 공통 어휘가 다국어 간 전이의 핵심 요소임을 시사한다.
• 언어 간 공통 서브워드의 대부분(예: 영어와 아랍어 간)은 어느 한 언어의 고유어가 아니며, 이는 mBERT가 사전 훈련 과정에서 다국어 혼합 언어 패턴(예: 코드 스위칭)을 학습했음을 의미한다.
• 언어 간 공통 서브워드와 매개변수 구조의 존재는 다국어 모델이 명시적인 다국어 미세조정 없이도 다양한 언어 유형 간에 잘 일반화될 수 있도록 하는 이유를 설명한다.