[논문 리뷰] WikiBERT models: deep transfer learning for many languages

Sampo Pyysalo, Jenna Kanerva외 2명|arXiv (Cornell University)|2020. 06. 02.

Natural Language Processing Techniques참고 문헌 20인용 수 26

한 줄 요약

이 논문은 저자 및 중간 자원 언어를 위한 42개의 언어별 BERT 모델인 위키버트를 생성하기 위한 완전 자동화된 파이프라인을 소개한다. 이 모델들은 유저가 지정한 위키백과 데이터 전용으로 훈련된다. 언어별 의존성 파싱 벤치마크인 유니버설 디펜던시(UD)에서 위키버트 모델은 평균적으로 mBERT보다 성능이 뛰어나며(86.6% 대 86.1% LAS), 핀란드어 등 일부 언어에서는 상당한 성능 향상이 있었고 벨라루스어 등 일부 언어에서는 성능 저하가 있었으며, 이는 약 1억에서 10억 토큰의 사전 훈련 데이터 범위에서 성능 최적점이 존재함을 시사한다.

ABSTRACT

Deep neural language models such as BERT have enabled substantial recent advances in many natural language processing tasks. Due to the effort and computational cost involved in their pre-training, language-specific models are typically introduced only for a small number of high-resource languages such as English. While multilingual models covering large numbers of languages are available, recent work suggests monolingual training can produce better models, and our understanding of the tradeoffs between mono- and multilingual training is incomplete. In this paper, we introduce a simple, fully automated pipeline for creating language-specific BERT models from Wikipedia data and introduce 42 new such models, most for languages up to now lacking dedicated deep neural language models. We assess the merits of these models using the state-of-the-art UDify parser on Universal Dependencies data, contrasting performance with results using the multilingual BERT model. We find that UDify using WikiBERT models outperforms the parser using mBERT on average, with the language-specific models showing substantially improved performance for some languages, yet limited improvement or a decrease in performance for others. We also present preliminary results as first steps toward an understanding of the conditions under which language-specific models are most beneficial. All of the methods and models introduced in this work are available under open licenses from https://github.com/turkunlp/wikibert.

연구 동기 및 목표

• 저자 및 중간 자원 언어를 위한 고품질의 전용 언어별 BERT 모델 부족 문제를 해결하기 위해.
• 오직 위키백과 데이터만을 사용하여 이러한 모델를 생성하기 위한 완전 자동화되고 확장 가능한 파이프라인을 개발하기 위해.
• 다국어 의존성 파싱 벤치마크에서 이러한 모델의 성능을 다국어 BERT(mBERT) 기준과 비교 평가하기 위해.
• 단일 언어 사전 훈련이 다국어 사전 훈련보다 더 높은 성능을 내는 조건을 조사하기 위해.
• 모델 및 파이프라인을 개방형 라이선스 하에 공개하여 더 넓은 NLP 연구 및 개발 지원을 위해.

제안 방법

• 저자들은 309개 언어에 대해 위키백과 덤프를 추출하고 전처리하며 토크나이징하는 완전 자동화된 파이프라인을 구축했다.
• 언어별 BERT 모델들은 사전 훈련을 위해 오직 위키백과 텍스트에만 국한하여 훈련되었다. 죽은 언어나 현재 사용되지 않는 언어는 제외되었다.
• 사전 훈련 과정은 표준 BERT 목표인 마스크된 언어 모델링과 다음 문장 예측을 사용했다.
• 모델들은 유니버설 디펜던시 트리뱅크에서 UDify 의존성 파서를 사용하여 미세조정 및 평가되었다.
• 42개 언어에서 mBERT와 WikiBERT 초기화 간 성능을 비교하였으며, 주요 평가 지표로 LAS(라벨링 첨부 점수)를 사용했다.
• 분석은 사전 훈련 데이터 크기 및 언어 가족 관계와의 상관관계를 중심으로 상대적 성능 변화에 집중했다.

실험 결과

연구 질문

• RQ1 위키백과 데이터에서 언어별 BERT 모델을 훈련하는 것이 mBERT와 같은 다국어 모델보다 성능 향상에 기여하는가?
• RQ2 사전 훈련 데이터 크기가 언어별 모델의 성능 향상에 어떤 영향을 미치는가?
• RQ3 언어적 유사성과 언어 가족 소속 관계는 단일 언어 대 다국어 사전 훈련의 상대적 성능에 어떤 영향을 미치는가?
• RQ4 언어적 특성나 특정 임계치(예: 데이터 크기, 문법적 특성)가 단일 언어 모델이 다국어 모델을 능가하는 데 결정적인 역할을 하는가?
• RQ5 완전 자동화된 파이프라인이 다양한 언어에 대해 고품질의 언어별 BERT 모델을 신뢰성 있게 생성할 수 있는가?

주요 결과

• UDify가 위키버트 모델로 초기화된 결과, 평균 LAS는 86.6%로 mBERT의 86.1%를 약간 상회했다.
• mBERT를 위키버트로 교체했을 때 상대적 오차 감소율은 평균 약 4%였으며, 이는 명백한 성능 향상을 의미한다.
• 핀란드어는 가장 큰 성능 향상을 보였으며, mBERT 대비 LAS 오차가 10% 이상 감소했다.
• 벨라루스어는 가장 큰 성능 저하를 보였으며, 고자원 언어와 언어적 유사성이 높다고 해도 단일 언어 사전 훈련이 유의미한 이점을 가져오지 못할 수 있음을 시사한다.
• 약 1억에서 10억 토큰의 사전 훈련 데이터 범위에서 성능 최적점이 나타났으며, 이 범위에서 mBERT 대비 성능 향상이 가장 두드러졌다.
• 영어는 풍부한 데이터를 보유하고 있으며 Germanic 어족에 属하므로, mBERT와 위키버트의 성능은 거의 동일했으며, 고자원 환경에서는 단일 언어 사전 훈련의 이점이 없음을 시사한다.