[논문 리뷰] What the [MASK]? Making Sense of Language-Specific BERT Models

Debora Nozza, Federico Bianchi외 1명|arXiv (Cornell University)|2020. 03. 05.

Topic Modeling참고 문헌 31인용 수 85

한 줄 요약

이 논문은 언어별 BERT 모델을 조사하고 mBERT와 비교하며, 언어별 BERT 성능을 언어, 작업, 도메인에 걸쳐 탐색하는 대화형 사이트 BertLang를 소개합니다.

ABSTRACT

Recently, Natural Language Processing (NLP) has witnessed an impressive progress in many areas, due to the advent of novel, pretrained contextual representation models. In particular, Devlin et al. (2019) proposed a model, called BERT (Bidirectional Encoder Representations from Transformers), which enables researchers to obtain state-of-the art performance on numerous NLP tasks by fine-tuning the representations on their data set and task, without the need for developing and training highly-specific architectures. The authors also released multilingual BERT (mBERT), a model trained on a corpus of 104 languages, which can serve as a universal language model. This model obtained impressive results on a zero-shot cross-lingual natural inference task. Driven by the potential of BERT models, the NLP community has started to investigate and generate an abundant number of BERT models that are trained on a particular language, and tested on a specific data domain and task. This allows us to evaluate the true potential of mBERT as a universal language model, by comparing it to the performance of these more specific models. This paper presents the current state of the art in language-specific BERT models, providing an overall picture with respect to different dimensions (i.e. architectures, data domains, and tasks). Our aim is to provide an immediate and straightforward overview of the commonalities and differences between Language-Specific (language-specific) BERT models and mBERT. We also provide an interactive and constantly updated website that can be used to explore the information we have collected, at https://bertlang.unibocconi.it.

연구 동기 및 목표

• 언어별 BERT 모델의 개요와 이것이 mBERT와 어떻게 다른지에 대한 설명.
• 언어별 BERT 모델이 평가되는 아키텍처, 데이터 도메인 및 작업에 대한 요약.
• 모델 간 비교와 모델 선택 지침을 제공하는 대화형 리소스(BertLang) 소개.
• 성능 우위 및 언어와 작업 간 가변성에 대한 주요 발견 강조.

제안 방법

• 18개 언어와 29개 NLP 작업에 걸친 기존의 언어별 BERT 모델을 검토합니다.
• 가능한 경우 mBERT와의 성능을 수집하고 비교합니다.
• 인터랙티브하고 최신 저장소로서 BertLang 웹사이트를 소개하고 설명합니다.
• 사전 학습에 사용된 데이터 소스(위키피디아, OPUS, OSCAR)와 평가 도메인(뉴스, 소셜 미디어 등)을 논의합니다.
• 언어별 모델이 mBERT보다 우수한 시기와 특정 작업에서의 경향을 요약합니다.

실험 결과

연구 질문

• RQ1 언어별 BERT 모델이 언어 및 작업 전반에서 mBERT와 어떻게 비교되는가?
• RQ2 어떤 아키텍처(BERT, ALBERT, RoBERTa)와 데이터 소스가 언어별 모델에서 가장 좋은 성능을 낳는가?
• RQ3 어떤 도메인과 데이터셋이 언어별 모델이 mBERT 대비 상대적 이득에 영향을 주는가?
• RQ4 언어별 모델은 얼마나 널리 이용 가능하며, 연구자들이 적합한 모델을 효과적으로 찾을 수 있는가?

주요 결과

• 평균적으로, 고려된 작업들에서 언어별 BERT 모델이 mBERT보다 우수합니다.
• 저자원 언어들(예: Yorùbá, Arabic)에서 mBERT 대비 가장 큰 개선이 보입니다.
• 개체명 인식은 데이터 세트에서 가장 자주 보고되는 작업입니다.
• 감정 분석은 언어별 모델에서 상당한 이점을 자주 보입니다.
• 성능 이득은 작업과 언어에 따라 크게 다르며, 일부 작업(예: 명사 의미 구분)에서는 특정 경우에 mBERT를 선호합니다.
• 논문은 BertLang를 언어별 BERT 모델을 탐색하기 위한 중앙의 최신 리소스로 소개합니다.