[논문 리뷰] Large-Scale Contextualised Language Modelling for Norwegian

Andrey Kutuzov, Jeremy Barnes외 3명|arXiv (Cornell University)|2021. 04. 13.

Topic Modeling참고 문헌 29인용 수 15

한 줄 요약

이 논문은 약 20억 토큰의 혼합 데스크탑 및 뉴노르스크립트 텍스트를 기반으로 훈련된, 노르웨이어를 위한 첫 번째 대규모 단일언어 문맥 기반 언어 모델인 NorELMo와 NorBERT를 제시한다. 이 모델들은 여러 NLP 작업에서 다국어 mBERT와 이전의 노르웨이어 기준 모델보다 뛰어난 성능을 보이며, 특히 스파닝 추출 작업에서 F1 점수 20.6점 향상과 이진 감성 분류 작업에서 9.4점 향상을 기록한다.

ABSTRACT

We present the ongoing NorLM initiative to support the creation and use of very large contextualised language models for Norwegian (and in principle other Nordic languages), including a ready-to-use software environment, as well as an experience report for data preparation and training. This paper introduces the first large-scale monolingual language models for Norwegian, based on both the ELMo and BERT frameworks. In addition to detailing the training process, we present contrastive benchmark results on a suite of NLP tasks for Norwegian. For additional background and access to the data, models, and software, please see http://norlm.nlpl.eu

연구 동기 및 목표

• 고급 NLP 응용을 지원하기 위해 노르웨이어를 위한 대규모 단일언어 문맥 기반 언어 모델을 개발하기 위해.
• 특히 자원이 적은 언어 설정과 비교해 볼 때, 노르웨이어에 대해 고자원, 도메인 최적화된 언어 모델의 부족을 해결하기 위해.
• 노르웨이 북유럽 HPC 인프라에서 대규모 언어 모델을 훈련하고 배포하기 위한 재사용 가능하고 고성능 소프트웨어 스택을 구축하기 위해.
• 다양한 NLP 작업에서 단일언어 노르웨이어 모델이 다국어 및 이전 최고 성능 모델과 비교하여 어떻게 성능을 발휘하는지 평가하기 위해.
• 데이터, 모델, 최적화된 훈련 소프트웨어에 대한 개방형 접근을 통해 향후 모델 개발을 위한 지속 가능한 생태계를 조성하기 위해.

제안 방법

• Norsk Aviskorpus, 데스크탑 위키백과, 뉴노르스크립트 위키백과에서 유래한 총 19억 단어 토큰의 병합 코퍼스를 기반으로 NorELMo와 NorBERT 모델을 훈련시켰다.
• 실제 사용 비율을 반영한 데이터 비율(데스크탑가 우세함)을 고려해 데스크탑 및 뉴노르스크립트를 동시에 훈련하는 방식을 사용했다.
• Gensim을 사용해 위키백과 추출, 탈토크나이제이션, UTF-8 정규화를 수행하고, Stanza를 사용해 문장 분할을 수행했다.
• 국가 HPC 클러스터(Puhti 및 Saga)에서 GPU 가속 훈련을 최적화한 EasyBuild 기반의 완전 자동화된 모듈식 소프트웨어 스택을 구축했다.
• ELMo 및 BERT 아키텍처를 사용해 모델을 훈련했으며, BERT 훈련은 분산 훈련을 통해 4개 GPU 노드에서 약 3주가 소요되었다.
• POS 태깅, 감성 분석, 否정 감지, NER를 포함한 벤치마크 세트를 통해 mBERT 및 NB-BERT와 비교해 모델 성능을 평가했다.

실험 결과

연구 질문

• RQ1 스폰딩 추출 작업에서 F1 점수 20.6점 향상과 이진 감성 분류 작업에서 9.4점 향상을 기록했다.
• RQ2 노르웨이어에 특화된 대규모 단일언어 코퍼스를 사용한 훈련이 감성 분석 및 명명된 실체 인식 작업 성능 향상에 얼마나 기여하는가?
• RQ3 모델 아키텍처와 훈련 데이터 구성(예: 데스크탑 대비 뉴노르스크립트 비율)이 다양한 NLP 작업에서 성능에 미치는 영향은 어떠한가?
• RQ4 국가 HPC 인프라에서 효과적으로 배포될 수 있는 공동체 기반, 개방형, 재현 가능한 대규모 언어 모델 훈련 소프트웨어 스택을 구축할 수 있는가?
• RQ5 다양한 NLP 작업에서 NorBERT와 NorELMo의 상대적 강점은 무엇이며, 이는 이전 최고 성능의 스팬 추출 모델과 비교해 어떻게 나타나는가?

주요 결과

• NorBERT는 이진 감성 분류 작업에서 mBERT보다 9.4%p 높은 성능을 기록하여 노르웨이어 데이터에 특화된 단일언어 미사전 훈련의 이점을 입증했다.
• 스폰딩 추출 작업에서 Holder F1 지표 기준으로 이전 최고 성능 모델 대비 F1 점수 20.6점 향상된 성과를 기록했다.
• 부정 감지 작업에서는 mBERT가 전체 F1 점수에서 가장 높은 성능을 보였으며, 이는 다국어 미사전 훈련이 언어 간 문법적 유사성이 높은 작업에 유리할 수 있음을 시사한다.
• NorELMo 모델은 감성 분류 작업에서 mBERT보다 7.3점 높은 성능을 기록했으며, 이는 ELMo 아키텍처임에도 불구하고 뛰어난 성능을 발휘했음을 의미한다.
• NorLM 이니셔티브는 국립 HPC 시스템에서 모델을 성공적으로 훈련하고 배포했으며, 소프트웨어 스택과 모델 가중치가 CC BY 4.0 라이선스 하에 공개되었다.
• 벤치마크 파이프라인은 작업에 따라 모델 성능의 차이가 뚜렷하게 나타남을 입증했으며, 이는 다양한 작업에 특화된 모델과 체계적인 평가의 필요성을 강조한다.