[논문 리뷰] IndicXNLI: Evaluating Multilingual Inference for Indian Languages

Divyanshu Aggarwal, Vivek Gupta외 1명|arXiv (Cornell University)|2022. 04. 19.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 인도어 11개 주요 언어를 위한 다국어 자연어 추론(NLI) 벤치마크인 IndicXNLI를 소개한다. 이는 인도어 전용 모델인 IndicTrans를 사용해 영문 XNLI 데이터셋을 고품질 기계 번역한 것이다. 연구는 다양한 인도어 언어 간의 다국어 전이, 다국어 미세조정, 제로샷 성능을 평가하며, 자원이 적은 환경에서 모델의 행동과 언어 일반화에 대한 핵심 통찰을 제공한다.

ABSTRACT

While Indic NLP has made rapid advances recently in terms of the availability of corpora and pre-trained models, benchmark datasets on standard NLU tasks are limited. To this end, we introduce IndicXNLI, an NLI dataset for 11 Indic languages. It has been created by high-quality machine translation of the original English XNLI dataset and our analysis attests to the quality of IndicXNLI. By finetuning different pre-trained LMs on this IndicXNLI, we analyze various cross-lingual transfer techniques with respect to the impact of the choice of language models, languages, multi-linguality, mix-language input, etc. These experiments provide us with useful insights into the behaviour of pre-trained models for a diverse set of languages.

연구 동기 및 목표

• 특히 자원이 적은 환경에서 인도어 언어를 위한 고품질 NLI 벤치마크 데이터셋의 부족 문제를 해결한다.
• 인도어어족(인도아리안어 및 드라비디언어족) 간의 다양한 인도어 언어에서 다국어 모델의 표준화된 평가 프레임워크를 제공한다.
• mBERT, XLM-RoBERTa, 그리고 인도어 전용 모델(예: IndicBERT, MuRIL)과 같은 다국어 모델이 알려지지 않은 인도어 언어에서의 다국어 전이 성능을 조사한다.
• 영문 데이터 증강, 다국어 미리 훈련, 혼합 언어 입력이 인도어 언어의 NLI 성능에 미치는 영향을 평가한다.
• IndicGLUE 벤치마크에 IndicXNLI를 통합하여 인도어 언어의 넓은 범위의 NLP 연구를 지원한다.

제안 방법

• IndicTrans 모델을 사용해 영문 XNLI 데이터셋(학습: 392,702; 검증: 2,490; 테스트: 5,010)을 11개의 인도어 언어로 번역함으로써 IndicXNLI를 구축하였다.
• Samanantar 병렬 코퍼스에 기반해 훈련된 오픈소스, Transformer 기반의 순차적 번역 모델인 IndicTrans를 사용하였다.
• 인간 평가(언어당 2명의 평가자)와 BERTScore를 통해 번역 품질을 검증하였으며, 높은 평가자 간 일치도(피어슨 r > 0.73, 스피어만 r > 0.75)를 달성하였다.
• 제로샷 및 소수의 샘플 설정을 포함한 다양한 훈련 전략을 사용해 다국어 모델(mBERT, XLM-RoBERTa, IndicBERT, MuRIL)을 IndicXNLI에 미세조정하였다.
• 인도어 언어 간의 다국어 전이 성능을 평가하고, 혼합 언어(코드 믹스드) 입력에 대한 성능을 테스트하였다.
• 모델 간 및 훈련 방식 간 성능 비교를 통해 언어 커버리지, 다국어 미리 훈련, 데이터 증강의 영향을 분석하였다.

실험 결과

연구 질문

• RQ1 영문에서 자원이 적은 인도어 언어(예: 아삼어, 온디어)로의 다국어 전이 성능는 NLI 작업에서 얼마나 효과적인가?
• RQ2 인도어 전용 모델(예: IndicBERT, MuRIL)은 일반 다국어 모델(예: mBERT, XLM-RoBERTa)보다 인도어 언어의 NLI에서 어떻게 성능이 뛰어나게 되는가?
• RQ3 다국어 미리 훈련과 영문 데이터 증강은 인도어 언어 전반에서 제로샷 및 소수의 샘플 훈련 성능에 어떤 영향을 미치는가?
• RQ4 전제문과 가설문이 서로 다른 인도어 언어로 구성된 경우, 다국어 모델이 다국어 NLI 작업으로 얼마나 잘 일반화되는가?
• RQ5 혼합 언어 입력(예: 영문-인도어 혼합)은 NLI 작업에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 인간 평가를 통한 레이블 일치도 점수가 대부분의 언어에서 0.85 이상을 기록하여, IndicXNLI가 높은 언어학적 및 의미적 정확도를 확보하고 있음을 확인하였다.
• IndicBERT, MuRIL 등의 인도어 전용 모델이 자원이 적은 인도어 언어에서 제로샷 평가에서 일반 다국어 모델(mBERT, XLM-RoBERTa 등)보다 뛰어난 성능을 보였다.
• 근연한 인도아리안어 간(예: 힌두어, 마라티어, 펀자브어)의 다국어 전이 성능은 서로 관련이 없는 언어족 간(예: 드라비디언어족과 인도아리안어족)보다 유의미하게 높았다.
• 영문 XNLI에 대한 미세조정은 특히 다국어 미리 훈련과 결합되었을 때, 알려지지 않은 인도어 언어에서 제로샷 성능을 향상시켰다.
• 혼합 언어 입력(예: 영문-인도어 혼합)은 단일 언어 입력보다 모델 성능을 떨어뜨렸으며, 이는 코드 믹싱을 고려한 훈련의 필요성을 시사한다.
• 이 데이터셋은 일관된 성능 추세를 보이며 다국어 NLI의 신뢰할 수 있는 평가를 가능하게 하여, 벤치마크로서의 유용성을 입증하였다.