[논문 리뷰] SIB-200: A Simple, Inclusive, and Big Evaluation Dataset for Topic Classification in 200+ Languages and Dialects

David Ifeoluwa Adelani, Hannah Liu외 6명|arXiv (Cornell University)|2023. 09. 14.

Natural Language Processing TechniquesComputer Science인용 수 3

한 줄 요약

SIB-200는 205개의 언어와 방언을 대상으로 한 주제 분류를 위한 대규모이고 오픈소스의 벤치마크 데이터셋으로, Flores-200 병렬 코퍼스의 영어 문장을 주석 처리하여 나머지 204개 언어로 레이블를 확장함으로써 구축됨. 평가 결과, 특히 부족하게 표현된 어족(예: 니로틱어족, 아틀라스티크-콩고어족)과 아프리카, 아메리카, 오세아니아, 동남아시아의 언어에서 자원이 적은 언어에 대해 뚜렷한 성능 격차가 드러남.

ABSTRACT

Despite the progress we have recorded in the last few years in multilingual natural language processing, evaluation is typically limited to a small set of languages with available datasets which excludes a large number of low-resource languages. In this paper, we created SIB-200 -- a large-scale open-sourced benchmark dataset for topic classification in 200 languages and dialects to address the lack of evaluation dataset for Natural Language Understanding (NLU). For many of the languages covered in SIB-200, this is the first publicly available evaluation dataset for NLU. The dataset is based on Flores-200 machine translation corpus. We annotated the English portion of the dataset and extended the sentence-level annotation to the remaining 203 languages covered in the corpus. Despite the simplicity of this task, our evaluation in full-supervised setting, cross-lingual transfer setting and prompting of large language model setting show that there is still a large gap between the performance of high-resource and low-resource languages when multilingual evaluation is scaled to numerous world languages. We found that languages unseen during the pre-training of multilingual language models, under-represented language families (like Nilotic and Altantic-Congo), and languages from the regions of Africa, Americas, Oceania and South East Asia, often have the lowest performance on our topic classification dataset. We hope our dataset will encourage a more inclusive evaluation of multilingual language models on a more diverse set of languages. https://github.com/dadelani/sib-200

연구 동기 및 목표

• 다양하고 자원이 적은 언어에서 자연어 이해(NLU)를 위한 포괄적이고 대규모 평가 데이터셋의 부족을 해결하기 위해.
• 영어, 프랑스어, 중국어와 같은 고자원 언어를 넘어서 전체적인 다국어 평가를 지원하는 벤치마크를 만들기 위해.
• 특히 부족하게 표현된 언어를 대상으로, 언어어족과 지리적 지역에 따라 모델 성능을 체계적으로 분석할 수 있도록 하기 위해.
• 사전 훈련 시 도메인 다양성과 언어 커버리지가 다국어 간 전이 및 제로샷 일반화에 미치는 영향을 조사하기 위해.
• 205개 언어를 대상으로 표준화되고 오픈된 데이터셋을 제공함으로써 다국어 모델의 공정한 평가를 촉진하기 위해.

제안 방법

• 205개 언어에서 문장 수준로 정렬된 텍스트를 포함하는 Flores-200 다국어 병렬 코퍼스를 사용하여 SIB-200를 구축함.
• Simpler, 일관된 레이블링 체계를 사용하여 Flores-200의 영어 부분에 주제 레이블을 주석 처리함.
• 자동 역번역 및 정렬을 통해 문장 수준의 주제 레이블을 나머지 204개 비영어 언어로 확장함.
• 모델 평가를 세 가지 설정에서 수행함: 완전한 지도 학습 미세조정, 다국어 간 전이, GPT-4를 사용한 제로샷 프롬프팅.
• 합성 데이터를 사용하여 새로운 언어에 대해 성능을 향상시키기 위해 다국어 언어 적응형 미세조정(MAFT)을 적용함.
• 언어어족, 지역, 사전 훈련 노출 수준에 따라 그룹화된 언어 간 성능을 비교하여 체계적 격차를 식별함.

Figure 1: Heatmap of the performance by Region in each Joshi’s class.

실험 결과

연구 질문

• RQ1 주제 분류 성능이 205개 언어 간 어떻게 달라지며, 특히 자원이 적고 부족하게 표현된 언어에서 어떻게 나타나는가?
• RQ2 사전 훈련 기간에 포함되지 않은 언어는 다국어 NLU 작업에서 성능 저하를 얼마나 겪는가?
• RQ3 도메인 다양성을 늘리지 않고 언어 수만 늘린 사전 훈련은 제로샷 일반화를 열악하게 만들까?
• RQ4 합성 데이터를 사용한 다국어 언어 적응형 미세조정(MAFT)은 10MB 미만의 단일 언어 데이터를 가진 저자원 언어에서 성능을 크게 향상시킬 수 있는가?
• RQ5 GPT-4와 같은 대규모 언어 모델에 대해 고자원 언어에서의 제로샷 전이와 다양한 205개 언어에 걸친 프롬프팅을 비교했을 때 어떤 결과를 낳는가?

주요 결과

• 특히 니로틱어족과 아틀라스티크-콩고어족과 같은 부족하게 표현된 언어어족에서 평균 정확도가 60% 미만으로 가장 낮은 성능을 보였음.
• 제로샷 평가에서 GPT-4는 205개 언어 중 132개(64.7%)에서 70% 미만의 정확도를 기록하여 저자원 언어로의 일반화 능력이 열악함을 보여줌.
• 영어 전용으로 미세조정된 XLM-R 모델의 제로샷 전이에서는 81개 언어(전체의 39.3%)에서 70% 이하의 정확도를 기록하여 다국어 간 전이의 한계를 드러냄.
• 합성 데이터를 사용한 MAFT는 이전에 본 적이 없는 아프리카 언어의 평균 정확도를 최대 +5% 향상시켜 저자원 언어 적응의 잠재력을 입증함.
• 100개 언어로 사전 훈련된 XLM-R는 도메인 다양성이 제한된 500개 언어로 사전 훈련된 Glot-500보다 성능이 뛰어나, 사전 훈련 시 도메인 혼합의 중요성을 강조함.
• 아프리카, 아메리카, 오세아니아, 동남아시아의 언어는 항상 성능이 열악했으며, 특히 사전 훈련 또는 미세조정 데이터에 포함되지 않은 경우 더욱 심각한 성능 저하를 보였음.

Figure 2: Fully supervised Model Performance . We group languages by whether they and their scripts are seen in the pre-training corpus of XLM-R. Languages are ordered by the XLM-R performance in every group.