[논문 리뷰] IndicBART: A Pre-trained Model for Natural Language Generation of Indic Languages.

Raj Dabre, Himani Shrotriya외 4명|arXiv (Cornell University)|2021. 09. 07.

Natural Language Processing Techniques참고 문헌 43인용 수 13

한 줄 요약

IndicBART는 11개의 인도어와 영어를 위한 다국어 시퀀스 투 시퀀스 사전 훈련 모델로, 데바나가리 기반 문자 체계 간의 철자 유사성을 활용하여 다국어 간 전이 성능을 향상시킨다. 스크립트 통합과 다국어 피니어튜닝 덕분에 매개변수 수가 현저히 적음에도 불구하고, mBART50에 비해 신경 기계 번역 및 극단적 요약 작업에서 경쟁력 있거나 더 우수한 성능을 기록한다.

ABSTRACT

In this paper we present IndicBART, a multilingual, sequence-to-sequence pre-trained model focusing on 11 Indic languages and English. Different from existing pre-trained models, IndicBART utilizes the orthographic similarity between Indic scripts to improve transfer learning between similar Indic languages. We evaluate IndicBART on two NLG tasks: Neural Machine Translation (NMT) and extreme summarization. Our experiments on NMT for 12 language pairs and extreme summarization for 7 languages using multilingual fine-tuning show that IndicBART is competitive with or better than mBART50 despite containing significantly fewer parameters. Our analyses focus on identifying the impact of script unification (to Devanagari), corpora size as well as multilingualism on the final performance. The IndicBART model is available under the MIT license at this https URL .

연구 동기 및 목표

• 공통된 스크립트 특성을 지닌 저자원 인도어를 위해 특화된 다국어 사전 훈련 모델을 개발하는 것.
• 데바나가리 유도 스크립트 간 철자 유사성이 저자원 환경에서 전이 학습에 어떻게 기여하는지 조사하는 것.
• 특히 신경 기계 번역 및 극단적 요약과 같은 자연어 생성 작업에서의 성능 평가.
• 스크립트 통합, 훈련 코퍼스 크기, 다국어성의 모델 효과성에 미치는 영향 분석.
• 더 넓은 연구 및 적용을 위해 MIT 라이선스 하에 고성능 오픈소스 모델을 공개하는 것.

제안 방법

• IndicBART는 11개의 인도어와 영어의 단일어 텍스트를 기반으로 사전 훈련된 시퀀스 투 시퀀스 트랜스포머 기반 모델이다.
• 모델은 사전 훈련 중 모든 인도어 스크립트를 통합된 데바나가리 스크립트 표현으로 변환함으로써 철자 유사성을 활용한다.
• 다국어 피니어튜닝은 여러 언어 쌍에 걸쳐 신경 기계 번역 및 극단적 요약 작업에 적용된다.
• 모델는 BART와 유사한 마스킹된 오토인코딩 및 소거 목적을 사용하여 훈련되지만, 스크립트에 관계없는 표현 학습에 적합하게 조정된다.
• 표준 NLG 메트릭(예: BLEU 및 ROUGE)을 사용하여 성능을 평가하고, 스크립트 통합 및 코퍼스 크기의 영향을 분석하기 위한 추상화 연구를 실시한다.
• 모델는 오픈 액세스 및 커뮤니티 사용을 위해 MIT 라이선스 하에 공개된다.

실험 결과

연구 질문

• RQ1 데바나가리 스크립트로의 스크립트 통합이 인도어 다국어 사전 훈련에서 다국어 간 전이 성능에 얼마나 기여하는가?
• RQ2 저자원 인도어 언어 생성 작업에서 mBART50에 비해 모델 크기 측면에서 성능가능성이 어떻게 비교되는가?
• RQ3 훈련 코퍼스 크기가 다양한 인도어 언어에서 IndicBART의 성능에 어떤 영향을 미치는가?
• RQ4 다국어 피니어튜닝은 신경 기계 번역 및 극단적 요약 작업에서 성능에 어떻게 영향을 미치는가?
• RQ5 더 작은, 스크립트 통합된 모델이 인도어 언어 생성 작업에서 mBART50와 같은 더 큰 다국어 모델을 능가할 수 있는가?

주요 결과

• IndicBART는 매개변수 수가 현저히 적음에도 불구하고 12개의 신경 기계 번역 쌍에서 mBART50와 경쟁하거나 더 우수한 성능을 기록한다.
• 공통된 스크립트 표현 덕분에 저자원 언어 쌍에 특히 강력한 제로샷 전이 성능을 보이며, 다양한 인도어 간 전이 성능이 뛰어나다.
• 데바나가리 스크립트로의 스크립트 통합은 7개의 인도어 언어에서 극단적 요약 작업의 성능을 크게 향상시켜 철자 정렬의 효과성을 입증한다.
• 더 큰 훈련 코퍼스는 성능 향상에 기여하지만, 스크립트 통합 및 다국어 사전 훈련과 결합되었을 때 성능 향상이 더 두드러진다.
• 다국어 피니어튜닝은 모든 평가된 작업에서 일반화 능력을 높이며, 공통 표현 학습의 이점이 확인된다.
• MIT 라이선스 하에 오픈소스로 공개된 모델은 인도어 언어의 저자원 NLP 연구 분야에서 더 넓은 도입과 응용을 가능하게 한다.