[논문 리뷰] Playing with Words at the National Library of Sweden -- Making a Swedish BERT

Martin Malmsten, Love Börjeson외 1명|arXiv (Cornell University)|2020. 07. 03.

Semantic Web and Ontologies인용 수 31

한 줄 요약

KB-BERT, a Swedish BERT model trained on diverse Swedish corpora from the National Library of Sweden, outperforms M-BERT and Arbetsförmedlingen’s Swedish model on NER and POS tasks; the model and training data are released publicly.

ABSTRACT

This paper introduces the Swedish BERT ("KB-BERT") developed by the KBLab for data-driven research at the National Library of Sweden (KB). Building on recent efforts to create transformer-based BERT models for languages other than English, we explain how we used KB's collections to create and train a new language-specific BERT model for Swedish. We also present the results of our model in comparison with existing models - chiefly that produced by the Swedish Public Employment Service, Arbetsförmedlingen, and Google's multilingual M-BERT - where we demonstrate that KB-BERT outperforms these in a range of NLP tasks from named entity recognition (NER) to part-of-speech tagging (POS). Our discussion highlights the difficulties that continue to exist given the lack of training data and testbeds for smaller languages like Swedish. We release our model for further exploration and research here: https://github.com/Kungbib/swedish-bert-models .

연구 동기 및 목표

• KB가 스웨덴 국립도서관의 컬렉션을 활용하여 스웨덴어 BERT 모델을 구축하는 방법을 Demonstrate.
• 전 pre-training을 위한 말뭉치 구성, 정제 및 준비 과정을 설명.
• KB-BERT를 기존의 스웨덴어 및 다국어 모델과 다운스트림 태스크에서 평가.
• 스웨덴어 언어 모델 학습의 데이터 다양성과 실용적 도전 과제를 강조.
• 스웨덴어 NLP를 위한 향후 연구 방향과 테스트베드 개발에 대해 논의.

제안 방법

• KB의 신문, 정부 보고서, 법률 e-배치, 소셜 미디어, 스웨덴어 위키피디아 등 KB 컬렉션에서 데이터를 수집해 광범위한 스웨덴어 말뭉치를 구축하는 방법을 설명.
• Saldo를 사용한 OCR 오류 수정 및 형태소 검사 등 말뭉치 정제 및 전처리 단계를 설명.
• 스웨덴어 및 OCR 아티팩트에 맞춘 문장/단락 분할 전략과 소셜 미디어 텍스트의 이모지 처리 등을 상세히 다룸.
• 스웨덴어 컴파운드어를 포착하기 위해 약 50,000 토큰 어휘를 사용하는 SentencePiece 기반 토크나이저 생성 방법을 설명.
• BERT 아키텍처, 단계, 시퀀스 길이, 배치 크기 및 사용된 클라우드 TPU 자원 등을 포함한 pre-training 설정을 개요.
• 다운스트림 NER와 POS 태스크를 통해 KB-BERT를 기존의 스웨덴어 및 다국어 모델과 비교.

실험 결과

연구 질문

• RQ1 다양하고 민주적으로 유래된 코퍼스로 스웨덴어 특화 BERT를 학습시키는 것이 다국어 모델이나 기존 스웨덴어 모델과 비교해 다운스트림 스웨덴어 NLP 태스크에 어떤 영향을 미치는가?
• RQ2 구어체 및 소셜 미디어 언어(이모지 포함)의 포함이 모델 성능과 강인성에 미치는 영향은 무엇인가?
• RQ3 스웨덴어 BERT 성능에 가장 영향력 있는 데이터 소스와 전처리 선택은 무엇이며, 실용적 학습 고려사항은 무엇인가?
• RQ4 스웨덴어 언어 모델의 한계 및 데이터/테스트베드의 간극은 무엇이며, 향후 연구에서 이를 어떻게 해결할 수 있는가?

주요 결과

태그	AF-AI	M-BERT	KB-BERT	HFST*
PER	0.913	0.945	0.961	0.913
ORG	0.780	0.834	0.884	0.534
LOC	0.913	0.942	0.958	0.780
TME	0.655	0.888	0.906	–
MSR	0.828	0.853	0.890	–
WRK	0.596	0.631	0.720	0.275
EVN	0.716	0.792	0.834	0.513
OBJ	0.710	0.761	0.770	0.437
AVG	0.876	0.906	0.927	–

• KB-BERT는 NER 태스크에서 다수의 엔티티 타입에 대해 M-BERT와 Arbetsförmedlingen의 스웨덴 모델보다 우수하다.
• POS 태깅의 개선은 KB-BERT에서 NER 이득에 비해 상대적으로 작다(1% 미만).
• 사전학습 결과는 NER에서 초기 큰 이득이 빠른 속도로 나타나고(대략 10k 스텝), 수십만 스텝 이후 수익이 감소하는 경향으로, 다른 언어의 유사한 연구와 일치한다.
• 다양한 데이터 유형의 포함(소셜 미디어 및 이모지를 포함한 구어체 언어)은 공식 텍스트だけ에 비해 더 넓은 언어 이해와 강건성에 기여한다.
• 연구는 스웨덴어에 대한 지속적인 데이터 및 테스트베드 관련 도전과제를 강조하고, 스웨덴 연구 기관과의 협력으로 향상된 스웨덴 NLP 테스트베드를 개발할 계획을 제시한다.