[논문 리뷰] Load What You Need: Smaller Versions of Multilingual BERT

Amine Abdaoui, Camille Pradel외 1명|arXiv (Cornell University)|2020. 10. 12.

Topic Modeling참고 문헌 14인용 수 9

한 줄 요약

이 논문은 다국어 BERT의 크기를 줄이기 위해 지원하는 언어 수를 줄이고, 대부분의 파rameter가 존재하는 임bedding 레이어에 초점을 맞춰 더 작고 효율적인 버전을 제안한다. 특정 언어 집합으로 모델을 훈련시킴으로써, 전체 다국어 BERT 대비 최대 45%의 파라미터 감소를 달성하면서도 XNLI 성능은 유사하게 유지되었으며, DistilM-BERT와 같은 정수화된 모델보다도 성능이 뛰어나 1.7%~6%의 정확도 하락을 겪지 않았다.

ABSTRACT

Pre-trained Transformer-based models are achieving state-of-the-art results on a variety of Natural Language Processing data sets. However, the size of these models is often a drawback for their deployment in real production applications. In the case of multilingual models, most of the parameters are located in the embeddings layer. Therefore, reducing the vocabulary size should have an important impact on the total number of parameters. In this paper, we propose to generate smaller models that handle fewer number of languages according to the targeted corpora. We present an evaluation of smaller versions of multilingual BERT on the XNLI data set, but we believe that this method may be applied to other multilingual transformers. The obtained results confirm that we can generate smaller models that keep comparable results, while reducing up to 45% of the total number of parameters. We compared our models with DistilmBERT (a distilled version of multilingual BERT) and showed that unlike language reduction, distillation induced a 1.7% to 6% drop in the overall accuracy on the XNLI data set. The presented models and code are publicly available.

연구 동기 및 목표

• 실제 환경에 구현할 때 큰 다국어 BERT 모델의 높은 계산 비용을 해결하기 위해.
• 지원하는 언어 수를 줄이면 성능을 유지하면서 모델 크기를 크게 줄일 수 있는지 조사하기 위해.
• 특정 언어 요구사항에 맞게 최적화된 더 작고 효율적인 다국어 BERT 변형을 개발하기 위해.
• 지식 정수화와 비교하여 언어 수 감소가 모델 압축 전략으로서 얼마나 효과적인지 평가하기 위해.
• 특정 언어 코퍼스에 최적화된 공개 가능한, 더 작은 다국어 BERT 모델을 제공하기 위해.

제안 방법

• 저자들은 특정 타겟 코퍼스에 관련된 언어만 선택하여 더 작은 다국어 BERT 모델을 훈련시으며, 어휘 크기를 줄였다.
• 다국어 BERT에서 대부분의 파라미터를 차지하는 임베딩 레이어를 주로 압축 대상으로 삼았다.
• 다국어 간 자연어 추론 성능 평가를 위해 XNLI 벤치마크에서 모델을 미세조정했다.
• 언어 수 감소 모델의 성능을 다국어 BERT의 정수화된 버전인 DistilM-BERT와 비교했다.
• 훈련 및 평가는 XNLI 데이터셋에서 표준 BERT 미세조정 프rotocol를 사용하여 수행했다.
• 결과로 도출된 모델들은 연구 및 저자원 환경에서의 구현을 지원하기 위해 공개적으로 배포되었다.

실험 결과

연구 질문

• RQ1 다국어 BERT의 언어 수를 줄이면 성능을 유지하면서 모델 크기를 크게 줄일 수 있는가?
• RQ2 정확도와 파라미터 효율성 측면에서 언어 수 감소는 지식 정수화보다 어떻게 비교되는가?
• RQ3 특정 응용 분야에 필요한 언어만 대상으로 삼을 경우 모델 크기를 얼마나 줄일 수 있는가?
• RQ4 작고 언어가 제한된 모델의 성능은 DistilM-BERT와 같은 정수화된 모델과 경쟁력 있는가?
• RQ5 더 작고 작업에 특화된 다국어 BERT 모델은 생산 환경에서 효과적으로 훈련 및 배포될 수 있는가?

주요 결과

• 제안된 언어 감소 모델은 전체 다국어 BERT 대비 최대 45%의 총 파라미터 수 감소를 달성했다.
• 언어 감소 모델은 XNLI 벤치마크에서 전체 다국어 BERT와 유사한 성능을 유지했으며, 정확도 하락은 최소한이었다.
• 정수화와는 달리 언어 감소는 정확도에 큰 영향을 주지 않았고, 반면 DistilM-BERT는 전체 정확도에서 1.7%~6%의 감소를 보였다.
• 여러 언어 집합에 걸쳐 효과적인 것으로 입증되었으며, 특정 언어 요구사항에 맞게 맞춤화할 경우 성능을 유지하면서 모델 크기를 줄일 수 있음을 보여주었다.
• 저자들은 임베딩 레이어가 다국어 BERT에서 파라미터 과잉의 주요 원인임을 확인했으며, 언어 감소가 매우 효과적인 압축 전략임을 입증했다.
• 공개된 모델들은 연구자들과 실무자들이 특정 응용 분야에 최적화된 더 작고 효율적인 다국어 모델을 배포할 수 있도록 지원한다.