[논문 리뷰] BERTje: A Dutch BERT Model

Wietse de Vries, Andreas van Cranenburgh외 4명|arXiv (Cornell University)|2019. 12. 19.

Topic Modeling참고 문헌 21인용 수 214

한 줄 요약

BERTje는 다양한 네덜란드어 텍스트 소스에서 학습된 단일 언어 네덜란드어 BERT 모델로, NER, POS 태깅, SRL, STR, 감정 분석 등 네덜란드어 NLP 작업에서 다국어 BERT를 지속적으로 능가합니다.

ABSTRACT

The transformer-based pre-trained language model BERT has helped to improve state-of-the-art performance on many natural language processing (NLP) tasks. Using the same architecture and parameters, we developed and evaluated a monolingual Dutch BERT model called BERTje. Compared to the multilingual BERT model, which includes Dutch but is only based on Wikipedia text, BERTje is based on a large and diverse dataset of 2.4 billion tokens. BERTje consistently outperforms the equally-sized multilingual BERT model on downstream NLP tasks (part-of-speech tagging, named-entity recognition, semantic role labeling, and sentiment analysis). Our pre-trained Dutch BERT model is made available at https://github.com/wietsedv/bertje.

연구 동기 및 목표

• 다국어 BERT를 넘어서는 고품질의 단일 언어 네덜란드어 BERT 모델의 필요성을 제시한다.
• 다양하고 대규모의 네덜란드어 데이터로 네덜란드어 BERT-base 모델을 구축하고 선행 학습한다.
• 다양한 네덜란드어 NLP 작업 집합에서 BERTje를 평가하여 다국어 BERT와의 비교를 수행한다.
• 사전 학습 반복이 저레벨 및 고레벨 언어 작업 전반에 걸친 성능에 어떤 영향을 미치는지 분석한다.

제안 방법

• 12개의 트랜스포머 블록을 갖춘 BERT-base 아키텍처를 사용한다.
• 책, TwNC, SoNaR-500, 웹 뉴스, 그리고 Wikipedia에서 중복 제거를 포함하여 약 12GB/2.4B 토큰에 이르는 다양한 네덜란드어 사전 학습 말뭉치를 구성한다.
• WordPiece 형식에 맞게 SentencePiece를 통해 30k WordPiece 어휘를 만든다.
• SOP로 사전 학습(NSP 대체)하고, 15%의 토큰을 마스킹하는 masked language modeling을 적용한다. 이때 80%→[MASK], 10%→random, 10%→unchanged이며, 연속된 조각이 전체 단어를 덮도록 마스킹한다.
• 여러 네덜란드어 NLP 작업(NER, POS, SRL, STR, sentiment)에서 미세 조정하고 다국어 BERT-base와 비교한다.
• 학습 다이나믹스를 평가하기 위해 850k 및 1M 학습 반복에서 평가한다.

실험 결과

연구 질문

• RQ1 다양한 네덜란드어 데이터로 학습된 단일 언어 네덜란드어 BERT 모델이 네덜란드어 특화 작업에서 다국어 BERT를 능가합니까?
• RQ2 사전 학습 반복 수(850k 대 1M)가 네덜란드어의 저레벨 및 고레벨 언어 작업 성능에 어떤 영향을 줍니까?
• RQ3 어떤 네덜란드어 NLP 작업이 단일 언어 네덜란드어 BERT 모델로부터 가장 큰 혜택을 입습니까?

주요 결과

• BERTje는 CoNLL-2002와 SoNaR-1 데이터셋 모두에서 NER에서 다국어 BERT를 능가합니다(예: 테스트에서 전체 BERTje로 NER F1이 80.7에서 88.3으로 향상).
• POS 태깅에서 BERTje는 Lassy Small 및 SoNaR-1(test) 데이터셋에서 다국어 BERT보다 정확도가 높으며 최종 결과는 중간에서 높은 96대에 근접합니다.
• 의미적 역할 및 시공 관계에서 BERTje가 다국어 BERT보다 높습니다(SRL 및 STR), 이득은 850k 체크포인트에서 가장 뚜렷하고 1M에서도 일부 개선이 지속됩니다.
• 네덜란드어 Book Reviews 데이터셋의 감정 분석에서 BERTje는 광범위한 하이퍼파라미터 튜닝 없이도 최첨단 성능에 근접하거나 이를 상회하며(완전 학습된 BERTje가 93.0% 테스트를 달성).
• 850k 체크포인트는 종종 완전히 학습된 BERTje와 일치하거나 근접하게 다가가며, 여러 작업에 유용한 정보를 더 일찍 인코딩한다는 것을 시사하고, 일부 고레벨 작업은 더 긴 사전 학습의 이점을 얻는다.