[논문 리뷰] EstBERT: A Pretrained Language-Specific BERT for Estonian

Hasan Tanvir, Claudia Kittask외 2명|arXiv (Cornell University)|2020. 11. 09.

Topic Modeling참고 문헌 19인용 수 5

한 줄 요약

이 논문은 12억 토큰에 이르는 에스토니아어 코퍼스를 기반으로 사전 훈련한 대규모 언어 특화 BERT 모델인 EstBERT를 소개한다. 이 모델은 일곱 가지 NLP 과제 중 다섯 가지에서 최신 기술 수준의 성능을 달성하여 다국어 BERT 모델들과 에스토니아어 전용으로만 훈련된 작은 버전의 BERT 모델을 능가한다. 결과적으로, 다국어 모델이 존재하더라도 더 크고 다양한 코퍼스를 기반으로 언어 특화 모델을 훈련시키는 것이 일반화 능력과 과제 성능을 크게 향상시킨다는 것이 입증되었다.

ABSTRACT

This paper presents EstBERT, a large pretrained transformer-based language-specific BERT model for Estonian. Recent work has evaluated multilingual BERT models on Estonian tasks and found them to outperform the baselines. Still, based on existing studies on other languages, a language-specific BERT model is expected to improve over the multilingual ones. We first describe the EstBERT pretraining process and then present the results of the models based on finetuned EstBERT for multiple NLP tasks, including POS and morphological tagging, named entity recognition and text classification. The evaluation results show that the models based on EstBERT outperform multilingual BERT models on five tasks out of six, providing further evidence towards a view that training language-specific BERT models are still useful, even when multilingual models are available.

연구 동기 및 목표

• 에스토니아어는 저자원 언어이지만, 다국어 모델을 뛰어넘는 높은 성능을 보이는 언어 특화 BERT 모델을 개발함으로써 NLP 과제 성능을 향상시키는 것.
• 더 크고 다양한 코퍼스를 기반으로 언어 특화 BERT를 훈련시키면, 더 작은 또는 더 대표성이 떨어지는 데이터로 훈련된 모델보다 더 나은 일반화 능력을 얻을 수 있는지 조사하는 것.
• 여러 하류 NLP 과제에서 기존의 다국어 BERT 모델들(예: XLM-RoBERTa)과 위키백과 전용으로만 훈련된 더 작은 에스토니아어 전용 모델(WikiBERT)과의 성능을 비교하는 것.
• 사전 훈련 데이터의 규모와 다양성이 저자원 환경에서 모델의 일반화 능력과 강건성에 미치는 영향을 평가하는 것.
• NLP 연구 공동체가 이용할 수 있도록 공개된 고품질의 에스토니아어 BERT 모델을 제공하는 것.

제안 방법

• 마스크된 언어 모델링 목적함수를 사용하여, 뉴스, 웹, 위키백과 텍스트를 포함하는 총 12억 토큰에 이르는 에스토니아 국립 코퍼스 2017년 데이터를 기반으로 EstBERT를 사전 훈련함.
• HTML/XML 태그 제거, 감지 라이브러리를 통한 언어 필터링, 해싱을 통한 중복 제거, 어휘 크기를 줄이기 위한 트루케이싱을 포함한 광범위한 데이터 전처리를 적용함.
• Hugging Face Transformers 라이브러리를 사용하여 모델을 구현하고 배포함으로써 하류 과제에서의 쉽게 파인튜닝할 수 있도록 함.
• POS 및 형태소 태깅, 의존성 파싱, 명명된 실체 인식(NER), 텍스트 분류 등 일곱 가지 하류 NLP 과제에서 EstBERT를 파인튜닝함.
• 다국어 BERT 모델들(예: XLM-RoBERTa)과 위키백과 데이터로만 훈련된 더 작은 에스토니아어 위키BERT 모델과의 성능을 비교함.
• 과제에 맞는 헤드를 사용하고 각 과제에 최적화된 초모수를 설정하여 표준 BERT 파인튜닝 절차를 사용함.

실험 결과

연구 질문

• RQ1 큰 규모의 다양한 에스토니아어 코퍼스를 기반으로 언어 특화 BERT 모델을 훈련시키면, 다국어 BERT 모델보다 에스토니아어 NLP 과제에서 더 높은 성능을 내는가?
• RQ2 에스토니아어 전용으로만 훈련된 작은 모델인 WikiBERT와 비교했을 때, EstBERT는 여러 NLP 과제에서 일반화 능력과 성능 면에서 어떻게 다른가?
• RQ3 에스토니아어처럼 저자원 언어에 대해 언어 특화 사전 훈련의 개선 효과가 다국어 사전 훈련의 이점보다 더 크다고 볼 수 있는가?
• RQ4 더 넓은 코퍼스를 기반으로 더 큰 언어 특화 모델을 훈련시키면, 심지어 가장 성능이 뛰어난 다국어 모델들보다도 에스토니아어 벤치마크에서 승리할 수 있는가?
• RQ5 저자원 언어를 위한 사전 훈련된 언어 모델의 강건성과 일반화 능력에 대해 데이터 규모와 다양성의 영향은 어떠한가?

주요 결과

• EstBERT는 POS 태깅, 형태소 태깅, 의존성 파싱, NER, 텍스트 분류 등 일곱 가지 하류 NLP 과제 중 다섯 가지에서 다국어 BERT 모델을 능가하는 성능을 보였다.
• 명명된 실체 인식 과제에서 EstBERT는 XLM-RoBERTa보다 높은 F1 스코어를 기록했지만, 이 차이는 데이터셋의 노이즈 있는 태깅으로 인해 미미했을 수 있다.
• EstBERT는 일곱 과제 중 여섯 과제에서 에스토니아어 위키BERT 모델을 뚜렷이 앞서며, 더 크고 다양한 사전 훈련 데이터의 긍정적인 영향을 입증했다.
• EstBERT와 다국어 모델 간의 성능 격차는 의존성 파싱과 형태소 태깅처럼 깊은 문법적 또는 형태소적 이해가 필요한 과제에서 가장 두드러졌다.
• XLM-RoBERTa가 에스토니아어 과제에서 뛰어난 성능을 보였음에도 불구하고, EstBERT의 결과는 더 많은 에스토니아어 데이터로 다국어 RoBERTa 모델을 파인튜닝하면 추가적인 향상이 가능할 수 있음을 시사한다.
• 이 연구는 다국어 모델의 시대에 있어 언어 특화 사전 훈련이 여전히 가치가 있음을 경험적으로 입증하며, 특히 고품질의 단일 언어 데이터가 충분히 확보된 경우 더욱 그렇다.