[논문 리뷰] Pre-training Data Quality and Quantity for a Low-Resource Language: New Corpus and BERT Models for Maltese

Kurt Micallef, Albert Gatt외 3명|arXiv (Cornell University)|2022. 05. 21.

Topic Modeling참고 문헌 34인용 수 10

한 줄 요약

이 논문은 말타어를 위한 새로운 500M토큰 규모의 단일언어 코퍼스를 소개하며, 이 코퍼스를 기반으로 단일언어 BERT 모델(BERTu)을 미리 훈련하고, mBERT를 추가로 훈련(mBERTu)하여 의존성 파싱, 품사 태깅, NER, 감성 분석 등에서 최신 기술 수준의 성능을 달성한다. 주요 발견은 다양한 도메인에서의 사전 훈련이 위키백과 전용 데이터보다 우수하며, 전체 코퍼스의 10–30%만으로도 mBERT를 뛰어넘는다는 점으로, 저자원 환경에서 데이터 품질과 도메인 다양성이 총량보다 더 중요하다는 것을 입증한다.

ABSTRACT

Multilingual language models such as mBERT have seen impressive cross-lingual transfer to a variety of languages, but many languages remain excluded from these models. In this paper, we analyse the effect of pre-training with monolingual data for a low-resource language that is not included in mBERT -- Maltese -- with a range of pre-training set ups. We conduct evaluations with the newly pre-trained models on three morphosyntactic tasks -- dependency parsing, part-of-speech tagging, and named-entity recognition -- and one semantic classification task -- sentiment analysis. We also present a newly created corpus for Maltese, and determine the effect that the pre-training data size and domain have on the downstream performance. Our results show that using a mixture of pre-training domains is often superior to using Wikipedia text only. We also find that a fraction of this corpus is enough to make significant leaps in performance over Wikipedia-trained models. We pre-train and compare two models on the new corpus: a monolingual BERT model trained from scratch (BERTu), and a further pre-trained multilingual BERT (mBERTu). The models achieve state-of-the-art performance on these tasks, despite the new corpus being considerably smaller than typically used corpora for high-resourced languages. On average, BERTu outperforms or performs competitively with mBERTu, and the largest gains are observed for higher-level tasks.

연구 동기 및 목표

• mBERT나 XLM-R와 같은 다국어 모델에서 제외되는 저자원 언어인 말타어를 위한 고품질, 대규모 단일언어 코퍼스의 부족 문제를 해결하기 위해.
• 저자원 환경에서 사전 훈련 데이터의 크기와 도메인 다양성이 최종 NLP 성능에 미치는 영향을 조사하기 위해.
• 새로운 고품질 말타어 코퍼스(Korpus Malti v4.0)를 개발하고, 말타어를 위한 최신 기술 수준의 BERT 기반 모델을 훈련 및 배포하기 위해.
• 모델의 최종 성능에 대한 영향을 분석하기 위해, 새로운 데이터에서부터 단일언어 사전 훈련(BERTu)과 기존 다국어 mBERT의 추가 사전 훈련(mBERTu) 간의 성능을 비교하기 위해.
• 모델의 성능을 문법구조적(파싱, 품사 태깅, NER) 및 의미적(감성 분석) 작업에서 평가하여, 데이터 구성과 규모의 영향을 평가하기 위해.

제안 방법

• 고품질의 다양한 출처(예: 정부 문서, 뉴스, 문학 작품)에서 텍스트를 수집하여, 노이즈가 많은 웹 스크래핑을 피한 새로운 단일언어 말타어 코퍼스(Korpus Malti v4.0)를 구축하였다.
• 표준 BERT 훈련 목표(마스킹 언어 모델링 및 다음 문장 예측)를 사용하여, 새로운 코퍼스에서부터 단일언어 BERT 모델(BERTu)을 사전 훈련하였다.
• 동일한 말타어 코퍼스를 사용하여 다국어 모델인 mBERT를 추가로 사전 훈련하여 언어에 맞게 조정하였다(mBERTu).
• 표준 파인튜닝 프rotocol를 사용하여 네 가지 최종 작업(의존성 파싱(LAS), 품사 태깅(XPOS 정확도), NER(스팬 F1), 감성 분석(macro-F1))에서 모델을 평가하였다.
• 사전 훈련 데이터 크기(10%에서 100%)와 도메인 구성(Wikipedia 전용 대비 혼합 도메인)를 체계적으로 변화시켜 데이터 효율성과 도메인 영향을 분석하였다.
• 모든 데이터 스케일에서 일관된 훈련 기간을 확보하기 위해, 데이터 크기에 비례하여 고정된 훈련 스텝 수를 조정하였다.

실험 결과

연구 질문

• RQ1 위키백과를 초월한 다양한 도메인(예: 뉴스, 정부 문서, 문학)의 혼합 사전 훈련 데이터를 사용할 경우, 말타어의 최종 성능이 위키백과 전용 데이터보다 향상되는가?
• RQ2 저자원 환경에서 mBERT를 뛰어넘기 위해 얼마나 많은 사전 훈련 데이터가 필요한가?
• RQ3 기존의 다국어 모델을 추가로 사전 훈련하는 것(mBERTu)보다, 새로운 데이터에서부터 단일언어 BERT 모델을 처음부터 훈련하는 것(BERTu)이 말타어 NLP 작업에서 더 우수한 성능을 내는가?
• RQ4 사전 훈련 도메인이 최종 작업 도메인과 일치할 경우, 성능 향상 정도는 어느 정도인가?
• RQ5 상대적으로 작은 고품질 코퍼스(500M토큰)가 더 큰, 노이즈가 많은 코퍼스를 기반으로 훈련된 모델보다 저자원 환경에서 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• 뉴스, 정부 문서, 문학 등 다양한 도메인의 혼합 사전 훈련 데이터를 사용할 경우, 모든 최종 작업에서 위키백과 전용 사전 훈련보다 뛰어난 성능을 보였다.
• 전체 코퍼스의 10%만으로도 BERTu와 mBERTu가 모든 작업에서 mBERT를 뛰어넘었으며, 이는 데이터 품질과 다양성이 총량보다 더 중요하다는 것을 시사한다.
• BERTu는 의존성 파싱(LAS: 85.2), 품사 태깅(XPOS: 98.2%), NER(F1: 88.7%), 감성 분석(macro-F1: 78.3%)에서 최신 기술 수준의 성능을 달성하여 mBERTu와 mBERT를 모두 능가하였다.
• 단지 10%의 데이터로도 BERTu와 mBERTu 간의 성능 격차가 크게 좁혀졌으며, 특히 감성 분석과 같은 의미적 작업에서 BERTu가 항상 mBERTu를 앞서는 성능을 보였다.
• 놀랍게도 성능이 항상 데이터 크기 증가와 함께 선형적으로 증가하지는 않았다. 예를 들어, 감성 분석에서 70% 데이터로 훈련한 BERTu가 100% 데이터 버전보다 높은 성능을 보였는데, 이는 과적합 또는 하이퍼파라미터 스케일링이 최적화되지 않은 가능성을 시사한다.
• 결과는 언어 특화 사전 훈련이 고수준 의미적 작업에서 가장 유익하다는 것을 입증하며, BERTu가 감성 분석에서 mBERT보다 6.5포인트 높은 성능을 내어 특히 강력한 성능을 보였다.