[논문 리뷰] ALBETO and DistilBETO: Lightweight Spanish Language Models

José Cañete, Sebastián Donoso외 3명|arXiv (Cornell University)|2022. 04. 19.

Natural Language Processing Techniques인용 수 10

한 줄 요약

이 논문은 ALBETO와 DistilBETO를 소개한다. 이는 ALBERT 및 DistilBERT 아키텍처를 기반으로 하되, 전적으로 스페인어 코퍼스에 대해 미리 훈련된 경량 스페인어 언어 모델이다. 매개변수 수가 크게 줄었음에도 불구하고—최대 22배 적게 사용함에도 불구하고—ALBETO tiny는 BETO의 성능의 87%를 달성하며, ALBETO base는 매개변수 수가 9배 이상 적은 상태에서 BETO의 97% 성능을 기록한다. 이는 MLQA, XQuAD, XNLI와 같은 여러 GLUE 벤치마크 과제에서 BETO를 초월한다.

ABSTRACT

In recent years there have been considerable advances in pre-trained language models, where non-English language versions have also been made available. Due to their increasing use, many lightweight versions of these models (with reduced parameters) have also been released to speed up training and inference times. However, versions of these lighter models (e.g., ALBERT, DistilBERT) for languages other than English are still scarce. In this paper we present ALBETO and DistilBETO, which are versions of ALBERT and DistilBERT pre-trained exclusively on Spanish corpora. We train several versions of ALBETO ranging from 5M to 223M parameters and one of DistilBETO with 67M parameters. We evaluate our models in the GLUES benchmark that includes various natural language understanding tasks in Spanish. The results show that our lightweight models achieve competitive results to those of BETO (Spanish-BERT) despite having fewer parameters. More specifically, our larger ALBETO model outperforms all other models on the MLDoc, PAWS-X, XNLI, MLQA, SQAC and XQuAD datasets. However, BETO remains unbeaten for POS and NER. As a further contribution, all models are publicly available to the community for future research.

연구 동기 및 목표

• 기존의 큰 모델들인 BETO와 유사한 성능을 내지만 훨씬 더 작고 빠른 대체 모델을 개발하여 스페인어를 위한 효율적이고 가벼운 언어 모델의 부족을 해소하고자 한다.
• 스마트폰 기기나 웹 서비스와 같은 저자원 및 실시간 응용 분야에서 최신 NLP 모델의 접근성을 높이고자 한다.
• 텍스트 분류, 질의 응답, 명명된 실체 인식 등 다양한 NLP 과제에서 이 모델들의 성능을 평가하고자 한다.
• 연구 및 개발을 위한 광범위한 지원을 위해 공개된, 미세조정된 모델과 코드를 배포하고자 한다.

제안 방법

• ALBERT 아키텍처를 사용하여 ALBETO 변종(tiny, base, large, xlarge, xxlarge)을 미리 훈련시키되, 매개변수 수를 줄이기 위해 가중치 연결(weight tying)을 적용한다.
• 지식 정복(knowledge distillation)을 사용하여 BETO 모델을 더 작고 빠른 형태로 압축함으로써 성능을 유지한다.
• 모든 미리 훈련 과정에 대규모 단일 언어 스페인어 코퍼스를 사용하여 언어에 특화된 최적화를 보장한다.
• GLUE 벤치마크의 여러 스페인어 NLP 과제—MLDoc, PAWS-X, XNLI, MLQA, SQAC, XQuAD—에 대해 모든 모델을 미세조정한다.
• 모든 과제에서 표준 평가 지표인 F1, 정확한 일치(exact match), 정확도를 사용하여 성능을 평가한다.
• Hugging Face와 GitHub 통해 모든 모델 및 미세조정 코드를 배포하여 공동체 접근성과 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 가벼운 ALBERT 및 DistilBERT 변종이 BETO보다 훨씬 적은 매개변수를 사용하면서도 스페인어 NLP 과제에서 경쟁적인 성능을 달성할 수 있는가?
• RQ2 모델의 효율성(매개변수 수)은 스페인어의 질의 응답 및 자연어 추론과 같은 후행 과제에서 성능과 어떻게 관련이 있는가?
• RQ3 POS 및 NER 과제에서 케이스에 민감한 BETO 케이스 모델이 성능 우위를 유지하는가? 그리고 경량 모델들은 이에 비해 어떻게 성능을 내는가?
• RQ4 지식 정복 및 매개변수 공유 전략을 통해 BETO를 더 가벼운 모델로 압축할 때 성능을 얼마나 잘 유지할 수 있는가?
• RQ5 이러한 경량 모델들이 저자원 또는 추론 제약 환경에서 BETO의 실질적인 대안이 될 수 있는가?

주요 결과

• ALBETO tiny는 GLUE 벤치마크에서 BETO의 성능의 87%를 달성하면서도 매개변수 수가 22배 적다.
• ALBETO base는 매개변수 수가 9배 이상 적은 상태에서 BETO의 97% 성능을 기록한다.
• ALBETO xxlarge 모델은 MLQA(2.5점 높은 F1), SQAC(2.8점 높은 F1), XQuAD(2.3점 높은 F1)에서 BETO 케이스 모델을 초월한다.
• XNLI 과제에서 ALBETO xxlarge는 F1 점수 82.42를 기록하여 BETO 케이스 모델을 0.5점 높게 달성한다.
• POS 및 NER 과제에서는 여전히 BETO 케이스 모델이 모든 경량 모델보다 성능이 뛰어나며, 이는 케이스 민감성 덕분이지만, ALBETO 모델들도 강력한 성능을 보인다.
• DistilBETO 및 모든 ALBETO 변종은 미세조정된 가중치와 학습 코드와 함께 공개되어 있어 광범위한 공동체 활용이 가능하다.