[논문 리뷰] BERTino: an Italian DistilBERT model

Matteo Muffo, Enrico Bertino|arXiv (Cornell University)|2023. 03. 31.

Natural Language Processing Techniques인용 수 5

한 줄 요약

BERTino는 대규모 이탈리아어 코퍼스에 맞추어 미세조정된 경량이며 지식 정련 기반의 BERT 모델로, 전체 BERT 및 GilBERTo와 유사한 성능을 보이며 동시에 미세조정 및 추론 시간을 약 50% 감소시킨다. 이는 지식 정련을 통해 달성되며, 이탈리아어 NLP 응용 분야에서 자원이 제한된 환경에 이상적인 솔루션이다.

ABSTRACT

The recent introduction of Transformers language representation models allowed great improvements in many natural language processing (NLP) tasks. However, if on one hand the performances achieved by this kind of architectures are surprising, on the other their usability is limited by the high number of parameters which constitute their network, resulting in high computational and memory demands. In this work we present BERTino, a DistilBERT model which proposes to be the first lightweight alternative to the BERT architecture specific for the Italian language. We evaluated BERTino on the Italian ISDT, Italian ParTUT, Italian WikiNER and multiclass classification tasks, obtaining F1 scores comparable to those obtained by a BERTBASE with a remarkable improvement in training and inference speed.

연구 동기 및 목표

• 이탈리아어 전용으로 경량이며 효율적인 BERT의 대안을 개발하기 위해.
• 이탈리아어 NLP 작업에서 성능을 크게 손상시키지 않으면서 BERT의 계산 및 메모리 요구량을 줄이기 위해.
• 지식 정련을 활용하여 더 큰 교사 모델의 지식을 더 작은, 더 빠른 아키텍처로 이전하기 위해.
• POS 태깅, NER 및 다중 클래스 문장 분류를 포함한 다양한 이탈리아어 NLP 벤치마크에서 모델 성능을 평가하기 위해.
• 공개 가능하고 일반 도메인이며 효율적인 이탈리아어 언어 처리를 위한 일반적인 솔루션을 제공하기 위해.

제안 방법

• 더 큰 BERT_base 모델에서 지식을 전이하기 위해 지식 정련을 사용하여 DistilBERT 아키텍처를 미세조정하였다.
• 마스크된 언어 모델링, 정련 손실 및 코사인 유사도 손실을 사용하여 대규모 일반 도메인 이탈리아어 텍스트 코퍼스에서 BERTino를 사전학습하였다.
• 배치 크기가 6이고 초기 학습률이 5×10⁻⁴인 4개의 Tesla K80 GPU를 사용하여 3 에포크 동안 모델을 훈련시켰다.
• 모든 후행 작업에서 동일한 초기 설정(배치 크기 32, 초깃값 학습률 5×10⁻⁵)을 사용하여 미세조정을 수행하였다.
• 모델 훈련 및 추론 파이프라인에 Hugging Face Transformers 라이브러리를 사용하였다.
• ISDT, ParTUT, WikiNER 및 139개 클래스를 가진 새로운 다중 클래스 의도 탐지 데이터셋에서 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 정련된 BERT 모델이 계산 비용을 크게 줄이면서도 이탈리아어 NLP 작업에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 이탈리아어 POS 태깅 작업에서 BERTino는 교사 모델 및 GilBERTo와 비교해 F1 점수와 추론 속도 측면에서 어떻게 성능을 내는가?
• RQ3 이탈리아어에서 BERT의 파rameter 수를 줄일 때 지식 정련이 성능을 얼마나 잘 유지하는가?
• RQ4 BERTino와 같은 경량 모델이 NER 및 다중 클래스 문장 분류를 포함한 다양한 이탈리아어 NLP 작업에서 잘 일반화될 수 있는가?
• RQ5 단일 언어 이탈리아어 코퍼스에서 훈련된 더 작은 모델이 이탈리아어 전용 벤치마크에서 다국어 BERT 버전을 초월하는가?

주요 결과

• BERTino는 이탈리아어 ISDT 작업에서 F1 점수 0.9800을 기록하였으며, 교사 모델의 0.9829보다 略적으로 낮지만, 훈련 시간은 43% 빠르고 평가 시간은 50% 더 빠르게 처리하였다.
• 이탈리아어 ParTUT POS 태깅 작업에서 BERTino는 F1 점수 0.9193을 달성하여 GilBERTo(0.9621)를 뛰어넘었고, 교사 모델의 성능을 유지하면서도 훨씬 줄어든 훈련 시간을 기록하였다.
• 이탈리아어 WikiNER 작업에서 BERTino는 F1 점수 0.9039를 기록하여 GilBERTo(0.9136)를 뛰어넘었고, 교사 모델의 0.9176에 가까워졌으며, 훈련 시간은 43% 감소시켰다.
• 다중 클래스 문장 분류 작업에서 BERTino는 F1 점수 0.7766을 기록하여 GilBERTo(0.7381)를 뛰어넘었고, 교사 모델 대비 훈련 시간을 43% 줄였다.
• 모든 작업에서 BERTino는 훈련 시간을 거의 50% 감소시키고 평가 시간을 최대 50%까지 줄여, 뛰어난 효율성 향상을 입증하였다.
• 다양한 작업에서의 성능 결과는 지식 정련이 더 작은, 더 빠른 아키텍처에서 이탈리아어 NLP를 위한 언어 이해 능력을 효과적으로 유지함을 확인한다.