[논문 리뷰] Evaluation of Transfer Learning for Polish with a Text-to-Text Model

Aleksandra Chrabrowa, Łukasz Dragan외 5명|arXiv (Cornell University)|2022. 05. 18.

Natural Language Processing Techniques인용 수 10

한 줄 요약

이 논문은 다국어 T5 기반의 텍스트-텍스트 모델인 plT5를 소개한다. plT5는 다양한 폴란드어 코퍼스에서의 노이즈 제거 사전 훈련 목적함수를 활용해 mT5로부터 전이 학습을 통해 폴란드어에 맞게 미세조정된 모델이다. 이 모델은 요약 및 질의응답을 위한 원본 데이터셋을 포함하여 폴란드어 자연어 처리 분야의 새로운 벤치마크를 수립하였으며, KLEJ, 번역, 질의응답 등 다양한 과제에서 최신 기술 수준의 성능을 달성하였다. 다만 요약 과제에서는 plBART가 더 뛰어난 성능을 보였다.

ABSTRACT

We introduce a new benchmark for assessing the quality of text-to-text models for Polish. The benchmark consists of diverse tasks and datasets: KLEJ benchmark adapted for text-to-text, en-pl translation, summarization, and question answering. In particular, since summarization and question answering lack benchmark datasets for the Polish language, we describe their construction and make them publicly available. Additionally, we present plT5 - a general-purpose text-to-text model for Polish that can be fine-tuned on various Natural Language Processing (NLP) tasks with a single training objective. Unsupervised denoising pre-training is performed efficiently by initializing the model weights with a multi-lingual T5 (mT5) counterpart. We evaluate the performance of plT5, mT5, Polish BART (plBART), and Polish GPT-2 (papuGaPT2). The plT5 scores top on all of these tasks except summarization, where plBART is best. In general (except for summarization), the larger the model, the better the results. The encoder-decoder architectures prove to be better than the decoder-only equivalent.

연구 동기 및 목표

• 통합 텍스트-텍스트 프레임워크를 사용하여 폴란드어에서 전이 학습의 효과를 평가하는 것.
• 요약 및 질의응답 분야에서 폴란드어용 벤치마크 데이터셋의 부족을 해결하기 위해 새로운 데이터셋을 구축하고 공개하는 것.
• mT5로부터 전이 학습을 통해 다국어 폴란드어 T5 모델(plT5)을 개발하고 사전 훈련하여 후행 과제에서의 성능을 향상시키는 것.
• 여러 NLP 과제에서 기존 폴란드어 모델(plBART, papuGaPT2)과 mT5를 plT5와 비교하는 것.
• 단일 언어 모델을 다국어 체크포인트에서 초기화하는 방식의 효율성과 효과성을 입증하는 것.

제안 방법

• 위키피디아, NKJP, Wolne Lektury, Open Subtitles, Common Crawl를 포함한 폴란드어 텍스트 코퍼스 혼합체에서 스팸 손상(Span-Corruption) 목적함수를 활용한 노이즈 제거 자동에코딩 목적으로 plT5를 사전 훈련함.
• 공유 토큰을 복사하고, 보편 어휘 외 토큰의 경우 임베딩 평균을 취해 mT5로부터 모델 가중치를 초기화함.
• 대표적인 폴란드어 텍스트의 25%를 대상으로 sentencepiece unigram 토크나이저를 훈련하여 50,000 어휘의 서브워드 토크나이저를 구축함.
• 텍스트-텍스트 KLEJ 벤치마크, 영어-폴란드어 번역, 요약, 질의응답의 네 가지 과제에서 plT5를 미세조정함.
• 모든 과제에서 동일한 훈련 및 디코딩 절차를 사용하여 통합된 모델 적용을 위한 텍스트-텍스트 파rag다임을 활용함.
• 표준 평가 지표를 사용하여 성능 평가: 분류 과제는 정확도, 번역 과제는 BLEU, 요약 과제는 ROUGE, 질의응답 과제는 정확한 일치 및 F1 점수를 사용함.

실험 결과

연구 질문

• RQ1 plT5는 다양한 폴란드어 NLP 과제에서 mT5 및 기타 폴란드어 전용 모델(plBART, papuGaPT2)과 비교해 어떻게 성능을 내는가?
• RQ2 다국어 T5 모델에서 전이 학습을 통해 도메인 특화 사전 훈련을 최소화하면서도 단일 언어 폴란드어 과제에서 뛰어난 성능을 낼 수 있는가?
• RQ3 모델 크기가 폴란드어의 다양한 NLP 과제에서 성능에 어떤 영향을 미치는가?
• RQ4 폴란드어 환경에서 인코더-디코더 아키텍처(T5 유형)가 디코더 전용 모델(GPT-2 유형)보다 어떻게 비교되는가?
• RQ5 요약 및 질의응답을 위한 새로 구축된 벤치마크 데이터셋이 평가의 일관성과 재현 가능성 향상에 얼마나 기여하는가?

주요 결과

• plT5는 평가된 모든 모델 중에서 KLEJ 벤치마크, 영어-폴란드어 번역, 질의응답 과제에서 가장 높은 성능을 기록함.
• 요약 과제에서는 plBART가 plT5를 능가하여 아키텍처 선택이 이 과제에 있어 매우 중요한 영향을 미친다는 점을 시사함.
• 모델 크기가 큰 경우(base 및 large)는 모든 과제에서 더 작은 변형보다 뚜렷하게 뛰어난 성능를 보였으며, 요약 과제를 제외한 모든 과제에서 유의미한 성능 향상을 보였음. 요약 과제에서는 성능 격차가 다소 작았음.
• 인코더-디코더 모델(plT5, plBART)은 모든 과제에서 디코더 전용 모델(papuGaPT2)을 뛰어넘었으며, 요약 과제를 제외한 모든 과제에서 뚜렷한 성능 우위를 보였음.
• mT5로부터의 전이 학습 방식은 효율적인 사전 훈련을 가능하게 하고 강력한 성능을 달성하여, 다국어 체크포인트에서 단일 언어 모델을 초기화하는 전략의 효과성을 입증함.
• 저자들은 요약 및 질의응답을 위한 새로운 벤치마크 데이터셋을 공개하였으며, 이는 공개적으로 이용 가능하며 향후 연구를 지원함.