[논문 리뷰] Large Pre-Trained Models with Extra-Large Vocabularies: A Contrastive Analysis of Hebrew BERT Models and a New One to Outperform Them All

Eylon Guetta, Avi Shmidman외 7명|arXiv (Cornell University)|2022. 11. 28.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 현대 hebrew어를 위한 새로운 대규모 사전 훈련된 언어 모델인 AlephBERTGimmel을 소개한다. 이 모델은 기존의 hebrew BERT 모델보다 훨씬 큰 128K 토큰 어휘를 갖추고 있다. 대조 분석을 통해 더 큰 어휘량이 서브워드 토크나이제이션 분할을 감소시키고 다양한 NLP 작업에서 성능을 향상시킨다는 것을 입증하였으며, 형태소 분할, 품사 태깅, NER, 감성 분석, 전체 형태소 분석 등에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

We present a new pre-trained language model (PLM) for modern Hebrew, termed AlephBERTGimmel, which employs a much larger vocabulary (128K items) than standard Hebrew PLMs before. We perform a contrastive analysis of this model against all previous Hebrew PLMs (mBERT, heBERT, AlephBERT) and assess the effects of larger vocabularies on task performance. Our experiments show that larger vocabularies lead to fewer splits, and that reducing splits is better for model performance, across different tasks. All in all this new model achieves new SOTA on all available Hebrew benchmarks, including Morphological Segmentation, POS Tagging, Full Morphological Analysis, NER, and Sentiment Analysis. Subsequently we advocate for PLMs that are larger not only in terms of number of layers or training data, but also in terms of their vocabulary. We release the new model publicly for unrestricted use.

연구 동기 및 목표

• 사전 훈련된 언어 모델의 어휘 크기가 현대 히브리어에 대해 성능에 미치는 영향을 조사하는 것.
• 히브리어와 같이 자원이 제한된 언어에서 서브워드 토크나이제이션 분할 문제를 해결하는 것. 이는 모델 성능 저하를 초래할 수 있다.
• 더 큰 어휘를 갖춘 새로운 히브리어 BERT 모델을 개발하고 평가하여 NLP 작업 정확도를 향상시키는 것.
• 다양한 작업에서 기존 모델을 초월하는 성능을 보이며, 히브리어 NLP의 새로운 최신 기술 수준 기준을 설정하는 것.

제안 방법

• 기존의 히브리어 PLM보다 훨씬 큰 128,000 토큰 어휘를 갖춘 새로운 히브리어 BERT 모델인 AlephBERTGimmel을 설계하고 훈련하는 것.
• 다양한 NLP 작업에서 mBERT, heBERT, AlephBERT와의 대조 분석을 수행하는 것.
• 바이트-페어 인코딩(BPE)을 사용한 서브워드 토크나이제이션을 적용하고, 어휘를 최적화하여 OOV(out-of-vocabulary) 및 서브워드 분할을 최소화하는 것.
• 형태소 분할, 품사 태깅, NER, 감성 분석, 전체 형태소 분석 등 다양한 히브리어 NLP 벤치마크에 대해 모델을 미세조정하는 것.
• 표준 메트릭을 사용하여 모델 성능을 평가하고, 이전의 최신 기술 수준 모델들과의 결과를 비교하는 것.
• 미래의 연구 및 응용을 지원하기 위해 훈련된 모델을 공개적으로 배포하여 자유로운 사용을 허용하는 것.

실험 결과

연구 질문

• RQ1 어휘 크기를 늘일수록 히브리어 사전 훈련된 언어 모델에서 서브워드 토크나이제이션 분할에 어떤 영향을 미치는가?
• RQ2 더 큰 어휘 크기가 하류 히브리어 NLP 작업에서 성능 향상에 얼마나 기여하는가?
• RQ3 128K 어휘를 갖춘 모델이 다양한 벤치마크에서 기존 최신 기술 수준의 히브리어 BERT 모델을 초월할 수 있는가?
• RQ4 히브리어 NLP에서 어휘 크기의 영향은 모델 깊이나 훈련 데이터 크기 증가에 비해 상대적으로 얼마나 중요한가?
• RQ5 서브워드 분할을 줄이면 다양한 히브리어 NLP 작업 전반에서 일관된 성능 향상이 이루어지는가?

주요 결과

• AlephBERTGimmel은 형태소 분할, 품사 태깅, 전체 형태소 분석, NER, 감성 분석 등 평가된 모든 히브리어 NLP 벤치마크에서 최신 기술 수준의 성능을 달성하였다.
• 더 큰 어휘 덕분에 이전 모델들에 비해 서브워드 토크나이제이션 분할이 현저히 줄어들었으며, 이는 성능 향상과 밀접한 관련이 있다.
• 서브워드 분할을 줄이면 모든 테스트 작업에서 모델 정확도 향상이 명확하게 관측되었으며, 이는 어휘 크기가 자원이 제한된 언어 모델링에서 핵심 요소임을 검증하는 데 기여한다.
• 대조 분석을 통해 더 큰 어휘 크기가 모델 깊이나 훈련 데이터 크기 증가만으로는 달성할 수 없는 성능 향상에 더 큰 기여를 한다는 것이 확인되었다.
• 모든 벤치마크에서 mBERT, heBERT, AlephBERT를 모두 초월하여 히브리어 NLP 분야의 새로운 최신 기술 수준을 확립하였다.