[논문 리뷰] RobBERTje: a Distilled Dutch BERT Model

Pieter Delobelle, Thomas Winters외 1명|arXiv (Cornell University)|2022. 04. 28.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 최신 네덜란드어 BERT 모델인 RobBERT의 더 작은, 교육된 버전인 RobBERTje를 소개한다. 이는 지식 정련을 통해 효율성을 향상시키기 위해 개발되었다. 연구 결과, 데이터 셔플링 또는 병합이 성능에 미치는 영향은 미미하며, 더 큰 정련 아키텍처(예: DistilBERT)는 더 작은 아키텍처(예: Bort)보다 성능이 뛰어나며, 모든 정련 모델은 교사 모델보다 성별 스테레오타입 편향이 감소된 것으로 나타났다.

ABSTRACT

Pre-trained large-scale language models such as BERT have gained a lot of attention thanks to their outstanding performance on a wide range of natural language tasks. However, due to their large number of parameters, they are resource-intensive both to deploy and to fine-tune. Researchers have created several methods for distilling language models into smaller ones to increase efficiency, with a small performance trade-off. In this paper, we create several different distilled versions of the state-of-the-art Dutch RobBERT model and call them RobBERTje. The distillations differ in their distillation corpus, namely whether or not they are shuffled and whether they are merged with subsequent sentences. We found that the performance of the models using the shuffled versus non-shuffled datasets is similar for most tasks and that randomly merging subsequent sentences in a corpus creates models that train faster and perform better on tasks with long sequences. Upon comparing distillation architectures, we found that the larger DistilBERT architecture worked significantly better than the Bort hyperparametrization. Interestingly, we also found that the distilled models exhibit less gender-stereotypical bias than its teacher model. Since smaller architectures decrease the time to fine-tune, these models allow for more efficient training and more lightweight deployment of many Dutch downstream language tasks.

연구 동기 및 목표

• 실용적 배포를 위한 더 작은, 더 효율적인 네덜란드어 RobBERT 언어 모델의 버전을 만들기 위해.
• 다양한 데이터 처리 전략(셔플링, 병합)이 정련 성능에 미치는 영향을 평가하기 위해.
• 최적의 효율성과 정확도를 위해 다양한 정련 아키텍처(예: DistilBERT 대비 Bort)를 비교하기 위해.
• 지식 정련이 네덜란드어 NLP 모델의 성별 스테레오타입 편향을 줄이는지 조사하기 위해.
• 하위 네덜란드어 NLP 작업에서 더 빠른 피니테이닝과 에너지 효율적인 추론을 가능하게 하기 위해.

제안 방법

• 지식 정련은 RobBERT v2 모델에 적용되었으며, 소규모 비라벨 네덜란드어 코퍼스를 사용하였다.
• 다양한 데이터 전처리 방식(비셔플, 셔플, 병합된 문장 코퍼스)을 사용해 여러 정련 모델을 훈련시켰다.
• 교사 모델(RobBERT)의 소프트 레이블을 사용해 학생 모델의 훈련을 안내하였다.
• 성능 평가를 위해 학생 모델들은 여러 하위 NLP 작업에서 피니테이닝되었다.
• 모델 예측에서의 성별 스테레오타입 연관성을 측정하고 비교하기 위해 로그 확률 편향 점수를 계산하였다.
• 정련 아키텍처로 표준 DistilBERT와 비교를 위한 더 작은 Bort 설정을 포함하였다.

실험 결과

연구 질문

• RQ1 정련 중에 훈련 코퍼스를 셔플링하는 것이 정련된 네덜란드어 BERT 모델의 성능에 유의미한 영향을 미치는가?
• RQ2 훈련 데이터에서 연속된 문장을 병합하는 것이 장문의 입력 시퀀스를 가진 작업에서 성능을 향상시키는가?
• RQ3 다양한 정련 아키텍처(예: DistilBERT 대비 Bort)는 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ4 지식 정련이 네덜란드어 언어 모델의 성별 스테레오타입 편향을 감소시키는가?
• RQ5 정련된 모델들이 훨씬 낮은 계산 및 저장 요구 사항으로 최신 기술 수준에 근접한 성능을 달성할 수 있는가?

주요 결과

• 대부분의 작업에서 셔플되지 않은 코퍼스와 셔플된 코퍼스를 사용해 훈련한 모델의 성능은 거의 동일했으며, 셔플링의 영향이 미미함을 시사한다.
• 훈련 데이터에서 연속된 문장을 병합하면 훈련 속도가 빨라지고, 더 긴 입력 시퀀스를 가진 작업에서 성능 향상이 이루어졌다.
• 모든 평가된 작업에서 더 큰 DistilBERT 기반 아키텍처는 더 작은 Bort 하이퍼파라미터화보다 뚜렷이 뛰어난 성능을 보였다.
• 모든 정련 모델은 교사 모델인 RobBERT보다 성별 스테레오타입 편향이 감소된 것으로 나타났으며, 편향 점수는 -0.67에서 -0.50 사이였고, 교사 모델의 1.10과 비교해 감소된 것으로 나타났다.
• 정련된 모델들은 훨씬 낮은 계산 능력으로도 최신 기술 수준에 근접한 성능를 달성했으며, 피니테이닝 및 추론 시에도 계산 자원 소비가 크게 감소되었다.
• 지식 정련은 정규화 역할을 하여, 로그 확률 편향 점수 지표로 확인된 바와 같이 모델 예측에서 스테레오타입 연관성을 감소시켰다.