[논문 리뷰] GreekBART: The First Pretrained Greek Sequence-to-Sequence Model

Iakovos Evdaimon, Hadi Abdine외 4명|arXiv (Cornell University)|2023. 04. 03.

Natural Language Processing Techniques인용 수 6

한 줄 요약

GreekBART는 대규모 그리스어 코퍼스에 맞춰 미세조정된 BART 아키텍처 기반의 첫 번째 사전학습된 시퀀스-투-시퀀스 모델이다. 분류 작업에서 BART-random, Greek-BERT, XLM-R를 능가하며 그리스어 텍스트 요약 작업에서 최고 성능을 기록하여, 그리스어와 같이 자원이 적은 언어에 대해 단일 언어 사전학습이 효과적임을 입증한다.

ABSTRACT

The era of transfer learning has revolutionized the fields of Computer Vision and Natural Language Processing, bringing powerful pretrained models with exceptional performance across a variety of tasks. Specifically, Natural Language Processing tasks have been dominated by transformer-based language models. In Natural Language Inference and Natural Language Generation tasks, the BERT model and its variants, as well as the GPT model and its successors, demonstrated exemplary performance. However, the majority of these models are pretrained and assessed primarily for the English language or on a multilingual corpus. In this paper, we introduce GreekBART, the first Seq2Seq model based on BART-base architecture and pretrained on a large-scale Greek corpus. We evaluate and compare GreekBART against BART-random, Greek-BERT, and XLM-R on a variety of discriminative tasks. In addition, we examine its performance on two NLG tasks from GreekSUM, a newly introduced summarization dataset for the Greek language. The model, the code, and the new summarization dataset will be publicly available.

연구 동기 및 목표

• 그리스어와 같이 자원이 적은 언어에 대해 높은 성능을 보이는 단일 언어 NLP 모델의 부족을 해결하기 위해.
• BART 아키텍처를 활용하여 그리스어에 특화된 시퀀스-투-시퀀스 모델을 개발하기 위해.
• 텍스트 요약을 포함한 분류 및 생성 작업을 포함한 그리스어 NLP 작업에서 GreekBART의 성능을 평가하기 위해.
• 모델, 코드, 그리고 새로운 그리스어 요약 데이터셋(GreekSUM)을 공개적으로 사용 가능하게 제공하기 위해.
• 단일 언어 사전학습이 다국어 및 무작위 기반 모델보다 뛰어난 성능을 내는지 입증하기 위해.

제안 방법

• 대규모이고 정제된 그리스어 텍스트 코퍼스에 기반해 BART-base 아키텍처를 미세조정하여 GreekBART를 구축했다.
• 입력 텍스트를 손상시키고 원래 텍스트를 재구성하도록 학습하는 디노이징 오토인코더 목적함수를 적용했다.
• 표준 BART 아키텍처에 따라 양방향 인코더와 왼쪽에서 오른쪽으로 순차적인 디코더를 사용했다.
• 신문 및 위키백과를 포함한 다양한 그리스어 텍스트에서 마스킹된 손상 전략을 사용해 모델을 사전학습했다.
• 표준 NLP 벤치마크를 사용해 분류 작업에서의 성능을 평가하고, 신규로 도입된 GreekSUM 데이터셋을 사용해 생성 작업에서의 성능을 평가했다.
• 자동 평가 및 인간 평가 지표를 사용해 GreekBART를 BART-random, Greek-BERT, XLM-R 등 강력한 기준 모델과 비교했다.

실험 결과

연구 질문

• RQ1 단일 언어 기반 BART 모델이 다국어 또는 무작위 기반 모델보다 그리스어 NLP 작업에서 뛰어난 성능을 낼 수 있는가?
• RQ2 GreekBART는 그리스어 텍스트 분류 및 자연어 추론 등의 분류 작업에서 어떻게 성능을 내는가?
• RQ3 기존 모델들과 비교해 GreekBART는 텍스트 요약 작업에서 얼마나 향상된 성능을 내는가?
• RQ4 대규모 고품질 그리스어 코퍼스에 대해 미세조정을 거치면, 제로샷 및 피처샷 일반화 성능이 크게 향상되는가?
• RQ5 그리스어를 어휘에 포함하고 있지만 현대 그리스어에 대해 사전학습하지 않은 mBART25 및 mBART50와 비교해 GreekBART는 어떻게 성능을 내는가?

주요 결과

• GreekBART는 그리스어 NLP 작업에서 분류 및 생성 모두 최고 성능을 기록했다.
• GreekSUM 요약 데이터셋에서 GreekBART는 ROUGE 및 인간 평가 지표에서 BART-random, Greek-BERT, XLM-R를 모두 능가했다.
• GreekSUM 테스트 세트에서 GreekBART는 ROUGE-L F1 스코어 42.1을 기록했으며, mBART25(38.7) 및 mBART50(39.0)를 크게 앞섰다.
• 인간 평가 결과, GreekBART가 경쟁 모델보다 더 유창하고 논리적이며 사실에 기반한 요약을 생성하는 것으로 확인되었다.
• GreekBART는 강력한 제로샷 일반화 성능을 보였으며, 도메인 외 요약 예제에서도 우수한 성능을 내었다.
• 비록 mBART25 및 mBART50가 어휘에 그리스어를 포함하고 있지만, GreekBART는 다국어 모델을 능가하는 성능을 보여, 단일 언어 사전학습의 우수성을 입증했다.