[논문 리뷰] IndicNLG Benchmark: Multilingual Datasets for Diverse NLG Tasks in Indic Languages

Aman Kumar, Himani Shrotriya외 7명|arXiv (Cornell University)|2022. 03. 10.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 11개의 인도어 언어를 대상으로 한 최초의 종합적인 다국어 자연어 생성(NLG) 벤치마크인 IndicNLG 벤치마크를 소개한다. 이 벤치마크는 생애사진 생성, 헤드라인 생성, 요약, 어색한 표현 교체, 질문 생성의 다섯 가지 다양한 작업을 포함하여 약 800만 개의 예제를 포함한다. 저자들은 웹 스크래핑, 위키백과 인포박스, 백트랜슬레이션을 활용하여 데이터셋을 수집하고 정제하였으며, 이 데이터로 미세조정된 다국어 및 언어별 모델이 뛰어난 성능을 보임을 입증하였다. 이는 인도어 언어의 저자원 자연어 생성 분야에서 새로운 기준을 설정한다.

ABSTRACT

Natural Language Generation (NLG) for non-English languages is hampered by the scarcity of datasets in these languages. In this paper, we present the IndicNLG Benchmark, a collection of datasets for benchmarking NLG for 11 Indic languages. We focus on five diverse tasks, namely, biography generation using Wikipedia infoboxes, news headline generation, sentence summarization, paraphrase generation and, question generation. We describe the created datasets and use them to benchmark the performance of several monolingual and multilingual baselines that leverage pre-trained sequence-to-sequence models. Our results exhibit the strong performance of multilingual language-specific pre-trained models, and the utility of models trained on our dataset for other related NLG tasks. Our dataset creation methods can be easily applied to modest-resource languages as they involve simple steps such as scraping news articles and Wikipedia infoboxes, light cleaning, and pivoting through machine translation data. To the best of our knowledge, the IndicNLG Benchmark is the first NLG benchmark for Indic languages and the most diverse multilingual NLG dataset, with approximately 8M examples across 5 tasks and 11 languages. The datasets and models are publicly available at https://ai4bharat.iitm.ac.in/indicnlg-suite.

연구 동기 및 목표

• 저자원 인도어 언어를 위한 고품질이고 다양한 자연어 생성(NLG) 데이터셋의 부족 문제를 해결하기 위해.
• 다양한 NLG 작업에서 단일 언어 및 다국어 시퀀스-투-시퀀스 모델을 평가하기 위한 벤치마크를 구축하기 위해.
• 통합된 다국어 데이터셋을 활용하여 관련된 NLG 작업 간의 전이 학습과 제로샷 일반화를 가능하게 하기 위해.
• 다른 저자원 언어들에 대해서도 유사한 데이터셋을 만들 수 있는 확장 가능하고 재현 가능한 파이프라인을 제공하기 위해.

제안 방법

• 11개의 인도어 언어에 대해 뉴스 기사와 위키백과 인포박스의 웹 스크래핑을 통한 데이터 수집.
• 규칙 기반 및 자연어 처리 기법을 사용한 원시 텍스트의 경량 정제 및 정규화.
• 저자원 언어의 훈련 데이터 증강을 위해 다국어 기계 번역을 활용한 피봇팅.
• 다섯 가지 별도의 NLG 작업 구축: 생애사진 생성, 헤드라인 생성, 문장 요약, 어색한 표현 교체 생성, 질문 생성.
• 수집된 데이터셋에 대해 단일 언어 및 다국어 사전 훈련된 시퀀스-투-시퀀스 모델(mBART, mT5 등)의 미세조정.
• 자동 평가 지표(BLEU, ROUGE, BERTScore)와 인간 평가를 통한 품질 평가.

실험 결과

연구 질문

• RQ1 통합된 다국어 벤치마크는 저자원 인도어 언어에서 다양한 NLG 작업 간의 성능 향상과 전이 가능성 향상에 기여할 수 있는가?
• RQ2 11개의 인도어 언어 전반에서 높은 품질의 텍스트 생성을 위해 다국어 모델과 언어별 모델 간의 성능 비교는 어떻게 이루어지는가?
• RQ3 백트랜슬레이션을 통한 데이터 증강이 저자원 NLG 작업의 성능 향상에 어느 정도 기여하는가?
• RQ4 IndicNLG 벤치마크에 미세조정된 모델은 최소한의 미세조정으로 관련 NLG 작업에 일반화될 수 있는가?
• RQ5 데이터셋의 크기와 다양성이 저자원 환경에서 NLG 모델 성능에 어떤 영향을 미치는가?

주요 결과

• IndicNLG 벤치마크는 11개의 인도어 언어와 5개의 NLG 작업을 포함하여 약 800만 개의 예제를 포함하고 있어, 이 언어들에 대해 가장 광범위한 다국어 NLG 데이터셋이다.
• 벤치마크에 미세조정된 다국어 모델은 강력한 성능을 보이며, mT5와 mBART가 모든 작업에서 경쟁적인 결과를 기록하였다.
• 다국어 모델의 언어별로 미세조정하는 것이 제로샷 또는 다국어 전용 설정보다 일관된 성능 향상을 이끌어냈다.
• IndicNLG 벤치마크에서의 전이 학습은 관련 NLG 작업에서 강력한 제로샷 성능을 가능하게 하여, 이 데이터셋이 전이 학습에 유용함을 입증하였다.
• 스크래핑, 정제, 백트랜슬레이션 기반의 데이터 수집 파이프라인은 저자원 언어 환경에서 효과적이고 확장 가능한 것으로 입증되었다.
• 인간 평가 결과, 데이터셋에 미세조정된 모델이 생성한 출력물은 특히 데이터셋에 미세조정된 경우 유창하고 사실에 기반한 것으로 확인되었다.