[논문 리뷰] HerBERT: Efficiently Pretrained Transformer-based Language Model for Polish

Robert Mroczkowski, Piotr Rybak외 2명|arXiv (Cornell University)|2021. 05. 04.

Topic Modeling참고 문헌 36인용 수 32

한 줄 요약

이 논문은 다국어에서 모국어 Polish BERT 모델로 지식을 전이하기 위한 효율적인 프리트레이닝 절차를 설계하고, 철저한 어블레이션을 수행하며, Polish 언어 이해 벤치마크(KLEJ 및 POS 태깅)를 포함해 최첨단 성능을 달성하는 HerBERT를 공개합니다.

ABSTRACT

BERT-based models are currently used for solving nearly all Natural Language Processing (NLP) tasks and most often achieve state-of-the-art results. Therefore, the NLP community conducts extensive research on understanding these models, but above all on designing effective and efficient training procedures. Several ablation studies investigating how to train BERT-like models have been carried out, but the vast majority of them concerned only the English language. A training procedure designed for English does not have to be universal and applicable to other especially typologically different languages. Therefore, this paper presents the first ablation study focused on Polish, which, unlike the isolating English language, is a fusional language. We design and thoroughly evaluate a pretraining procedure of transferring knowledge from multilingual to monolingual BERT-based models. In addition to multilingual model initialization, other factors that possibly influence pretraining are also explored, i.e. training objective, corpus size, BPE-Dropout, and pretraining length. Based on the proposed procedure, a Polish BERT-based language model -- HerBERT -- is trained. This model achieves state-of-the-art results on multiple downstream tasks.

연구 동기 및 목표

• Polish 언어 이해를 위한 영어 중심 연구를 넘어서는 효율적 프리트레이닝의 동기 부여와 평가를 제시한다.
• 프리트레이닝 성능에 영향을 주는 요인들(초기화, 코퍼스 규모, 학습 목표, BPE-Dropout, 프리트레이닝 길이)을 체계적으로 연구한다.
• 다국어 지식을 모국어 Polish 모델로 전이하는 실용적 절차를 개발하고 프리트레이닝된 모델을 공개한다.
• 제안된 절차가 다양한 Polish NLP 태스크에서 최첨단 결과를 가져오는지 보여준다.

제안 방법

• 단어 단위 개선 마스킹을 통한 업데이트된 MLM 목표를 사용한다(서브워드 인지 마스킹).
• Next Sentence Prediction을 Sentence Structural Objective (SSO)로 대체하고 그 영향을 평가한다.
• 다국어 XLM-RoBERTa 가중치에서 Polish 모델을 초기화하고, 대안으로 무작위 초기화를 사용하여 전이 효과를 비교한다.
• BASE와 LARGE 변형을 두 개의 Polish 코퍼스에서 학습한다(Small: NKJP, Wikipedia, Wolne Lektury; Large: Small plus CCNet and Open Subtitles).
• 초기화, 코퍼스 규모, SSO 가중치, BPE-Dropout, 프리트레이닝 길이를 달리하는 광범위한 어블레이션 연구를 수행하고, KLEJ, POS tagging, 의존 구문 분석에서 평가한다.

실험 결과

연구 질문

• RQ1 다국어 모델(XLM-RoBERTa)에서 초기화하는 것이 무작위 초기화와 비교해 Polish 단일 언어 모델의 빠른 수렴 및 최종 성능을 개선하는가?
• RQ2 코퍼스 규모, 학습 목표(MLM + SSO), BPE-Dropout이 downstream Polish NLP 태스크 성능에 어떤 영향을 주는가?
• RQ3 Sentence Structural Objective(SSO)가 Polish에 유익한가, 그리고 프리트레이닝 길이가 성능에 어떤 영향을 미치는가?

주요 결과

• 다국어로 초기화된 HerBERT(BASE 및 LARGE)가 무작위로 초기화된 동료 및 Polish RoBERTa보다 평균적으로 더 우수하며, 초기화가 가장 중요한 요소다.
• 더 큰 코퍼스에서의 학습은 일반적으로 다운스트림 성능을 향상시키며, 일부 설정에서 통계적으로 유의한 이득이 나타난다.
• SSO는 Polish의 다운스트림 성능에 일반적으로 악영향을 주며, 영어 중심 연구의 결과와 달리 가장 좋은 결과는 낮은 SSO 가중치에서 자주 나타난다.
• BPE-Dropout은 보고된 설정에서 Polish에 대해 일관되게 유의한 증가나 감소를 보이지 않는다.
• HerBERT LARGE는 KLEJ Benchmark에서 평균 성능이 가장 높아 Polish 언어 이해의 새로운 최첨단을 제시하며, HerBERT BASE도 평균 성능 면에서 Polish RoBERTa를 능가한다.