[논문 리뷰] Bertinho: Galician BERT Representations

David Vilares, Marcos García외 1명|arXiv (Cornell University)|2021. 03. 25.

Basque language and culture studies참고 문헌 49인용 수 10

한 줄 요약

이 논문은 단일 GPU에서 4500만 토큰 미만의 데이터로 미세조정된 단일 언어 BERT 모델인 Bertinho를 소개한다. 제한된 데이터에도 불구하고 12층의 Bertinho base 모델은 품사 태깅, 의존성 parsing, 명명된 실체 인식 등 다양한 NLP 작업에서 다국어 BERT(mBERT)를 능가하며, 6층 버전 역시 대부분의 작업에서 mBERT를 앞서며 성능을 발휘한다.

ABSTRACT

This paper presents a monolingual BERT model for Galician. We follow the recent trend that shows that it is feasible to build robust monolingual BERT models even for relatively low-resource languages, while performing better than the well-known official multilingual BERT (mBERT). More particularly, we release two monolingual Galician BERT models, built using 6 and 12 transformer layers, respectively; trained with limited resources (~45 million tokens on a single GPU of 24GB). We then provide an exhaustive evaluation on a number of tasks such as POS-tagging, dependency parsing and named entity recognition. For this purpose, all these tasks are cast in a pure sequence labeling setup in order to run BERT without the need to include any additional layers on top of it (we only use an output classification layer to map the contextualized representations into the predicted label). The experiments show that our models, especially the 12-layer one, outperform the results of mBERT in most tasks.

연구 동기 및 목표

• Galician에 대해 문맥 기반 임베딩이 부족한 저자원 언어인 Galician를 위한 단일 언어 BERT 모델을 개발하기 위해.
• 자원 제약 조건 하에서 모델 깊이(6층 대비 12층)가 성능에 미치는 영향을 평가하기 위해.
• 하류 NLP 작업에서 다국어 BERT(mBERT)와 비교하여 단일 언어 Galician BERT(Bertinho)의 성능을 평가하기 위해.
• 저자원 언어용으로 이중 단계 사전 훈련 전략의 효과성을 조사하기 위해.
• NLP 커뮤니티에 자유롭게 이용 가능한 고성능 Galician BERT 모델을 공개하기 위해.

제안 방법

• 4500만 토큰 미만의 단일 언어 Galician 코퍼스를 기반으로 6층과 12층 BERT 모델을 사전 훈련함.
• 훈련에 단일 TESLA P40 GPU를 사용하였으며, 표준 BERT 목표인 마스킹 언어 모델링과 다음 문장 예측을 적용함.
• Galician 어휘의 형태소 분할을 향상시키기 위해 맞춤형 토크나이저를 설계함.
• 표준 데이터셋을 사용하여 품사 태깅, 의존성 parsing, 명명된 실체 인식(NER) 작업에서 모델 성능을 평가함.
• 모든 작업에서 공식 다국어 BERT(mBERT) 모델과의 성능 비교를 수행함.
• 제한된 하드웨어 조건에도 불구하고, 짧은 시퀀스에서의 사전 훈련을 먼저 수행한 후, 더 긴 시퀀스에서의 미세조정을 수행하는 이중 단계 훈련 전략을 탐색함.

실험 결과

연구 질문

• RQ1 제한된 Galician 데이터로 훈련된 단일 언어 BERT 모델이 하류 NLP 작업에서 mBERT를 능가할 수 있는가?
• RQ2 훈련 데이터가 부족한 상황에서 모델 깊이(6층 대비 12층)가 성능에 어떤 영향을 미치는가?
• RQ3 이중 단계 사전 훈련 전략이 Galician와 같은 저자원 언어의 모델 성능 향상에 기여하는가?
• RQ4 맞춤형 토크나이저가 Galician BERT 모델에서 형태소 표현을 얼마나 향상시키는가?
• RQ5 mBERT가 다른 작업에서는 성능이 열 劣하나 NER에서는 성능이 뛰어나는데, 그 이유는 무엇인가?

주요 결과

• 12층의 Bertinho base 모델은 품사 태깅, 의존성 parsing, NER를 포함한 모든 하류 작업에서 mBERT를 능가함.
• 6층의 Bertinho small 모델 역시 대부분의 작업에서 mBERT를 초월하며, 계산 비용을 줄였음에도 강력한 성능을 보임.
• mBERT는 NER에서 Bertinho를 능가했으며, 특히 복잡한 이름과 일반 명사 기반 조직명 처리에서 뛰어난 성능을 보였지만, 일부 오류는 기준 레이블의 오류로 기인함.
• 이중 단계 훈련 전략은 성능을 저하시켰으며, 하드웨어 제약으로 인해 두 번째 단계에서 배치 크기가 작아진 데 기인한 것으로 보임.
• 맞춤형 토크나이저는 특히 변화형 Galician 어휘의 형태소 분할을 향상시킴.
• BETO와 같은 관련 언어 모델보다도 적은 4500만 토큰 미만의 데이터를 사용했음에도 불구하고, Bertinho는 Galician NLP 분야에서 최고 성능을 달성함.