[논문 리뷰] Evaluating Transferability of BERT Models on Uralic Languages

Judit Ács, Dániel Lévai외 1명|arXiv (Cornell University)|2021. 09. 13.

Natural Language Processing Techniques인용 수 3

한 줄 요약

이 논문은 11개의 우랄어족 언어에서 단일언어, 다국어, 무작위 초기화된 BERT 모델을 평가하여, 특히 mBERT와 XLM-RoBERTa와 같은 고자원 모델을 최소한의 작업별 데이터로 미세조정함으로써 저자원 우랄어족 언어에서 품사 태깅(POS) 및 개체명 인식(NER) 작업에서 최고 성능을 달성함을 보여준다. 놀랍게도, 목표 언어가 동일한 문자를 사용할 경우, 유전적으로 관련이 없는 언어 간에도 이식성이 뛰어나다.

ABSTRACT

Transformer-based language models such as BERT have outperformed previous models on a large number of English benchmarks, but their evaluation is often limited to English or a small number of well-resourced languages. In this work, we evaluate monolingual, multilingual, and randomly initialized language models from the BERT family on a variety of Uralic languages including Estonian, Finnish, Hungarian, Erzya, Moksha, Karelian, Livvi, Komi Permyak, Komi Zyrian, Northern S\'ami, and Skolt S\'ami. When monolingual models are available (currently only et, fi, hu), these perform better on their native language, but in general they transfer worse than multilingual models or models of genetically unrelated languages that share the same character set. Remarkably, straightforward transfer of high-resource models, even without special efforts toward hyperparameter optimization, yields what appear to be state of the art POS and NER tools for the minority Uralic languages where there is sufficient data for finetuning.

연구 동기 및 목표

• 저자원 우랄어족 언어(소수어 및 자원이 부족한 언어 포함)에 대한 BERT 모델의 이식성 평가.
• 다국어 모델 대비 단일언어 모델이 교차언어 이식 설정에서 더 뛰어난 성능을 보이는지 조사.
• 모델 이식 성능에 영향을 주는 공통 철자 및 문자 집합 커버리지의 역할 평가.
• 유전적 유사성(유전적 유사성)이 형태학적 및 시퀀스 레이블링 작업에서 이식 성능을 향상시키는지 여부 평가.
• 최소한의 미세조정을 사용한 사전학습 모델을 활용하여 우랄어족 언어의 POS 및 NER에 대한 기준 성능 설정.

제안 방법

• 11개의 우랄어족 언어에 대해 POS 및 NER 작업을 위해 다국어(mBERT, XLM-RoBERTa), 단일언어(EstBERT, FinBERT, HuBERT), 무작위 초기화 모델을 미세조정.
• 모든 트랜스포머 레이어에서 컨텍스트 기반 표현으로부터 형태학적 정보를 추출하기 위해 프로빙 분류기를 사용하였으며, 레이어 가중치는 훈련 중에 학습됨.
• 표준 데이터셋(UD 및 WikiAnn)을 사용하여 형태학적 프로빙, POS 태깅, NER 평가를 수행하였으며, 성능은 정확도 및 F1 점수로 측정.
• 한 언어에서 훈련된 모델을 관련 또는 관련이 없는 우랄어족 언어에 적용하여 교차언어 이식을 테스트함. 특히 핀란드어와 카레리아어와 같은 가까운 유전적 쌍을 포함.
• 서브워드 토크나이저를 사용하고, 라틴 및 시릴리아 문자를 지원하기 위해 어휘 커버리지 확보하여 교차언어 이식 지원.
• 초기화된 하이퍼파라미터 없이 성능을 비교하여, 제로샷 및 피어샷 이식 능력에 중점을 둠.

실험 결과

연구 질문

• RQ1 mBERT 및 XLM-RoBERTa와 같은 다국어 BERT 모델이 최소한의 미세조정으로 저자원 우랄어족 언어에서 POS 및 NER 작업에서 최고 성능을 달성할 수 있는가?
• RQ2 유사한 우랄어족 언어(예: 핀란드어를 카레리아어에 대해)의 단일언어 모델로 훈련하면 다국어 모델보다 성능이 향상되는가?
• RQ3 공통 스크립트 또는 문자 집합(예: 라틴 vs. 시릴리아)이 서로 관련이 없는 우랄어족 언어 간의 이식 성능에 어느 정도 영향을 미치는가?
• RQ4 영어 기반 모델(EngBERT)의 성능이 우랄어족 언어로의 이식에서 단일언어 우랄어족 모델보다 떨어지는가?
• RQ5 자신의 모국어 언어에서 훈련된 원천 단일언어 모델(EstBERT 등)과 다국어 모델 간에 성능 격차가 뚜렷한가?

주요 결과

• 형태학적 프로빙에서, 단일언어 모델(EstBERT, FinBERT, HuBERT)은 모국어 언어에서 다국어 모델을 능가하지만, 통계적으로 유의미한 차이는 아님.
• POS 및 NER 작업에서, XLM-RoBERTa 및 mBERT와 같은 다국어 모델은 모든 우랄어족 언어에서 최고 성능을 달성함. 최소한의 미세조정으로도 성능 확보.
• 영어 기반 EngBERT에서 헝가리어(라틴 스크립트 사용)로의 이식 성능이 핀란드어나 에스토니아어 단일언어 모델보다 뛰어나, 스크립트 호환성이 생물학적 유사성보다 더 중요함을 시사.
• 러시아어로 훈련된 RuBERT는 코미-지리안 및 코미-페르먀크 등 시릴리아 문자를 사용하는 우랄어족 언어에서 뛰어난 성능을 보이며, 서로 관련이 없는 언어 간에도 강력한 교차언어 이식 가능성을 입증.
• 라틴 스크립트를 사용하는 노르트 샴어는 rand-mBERT(무작위 초기화된 mBERT)를 통해 높은 NER 성능을 달성함. 이는 철자적 신호가 복합어형 언어에서 매우 예측 가능한 요소임을 보여줌.
• 매우 적은 데이터(예: 모크샤어의 경우 164개 훈련 문장)에도 불구하고 XLM-RoBERTa와 같은 모델은 의미 있는 성능을 달성함. 그러나 극도로 제한된 데이터(예: 에르즈야어의 경우 1,680개 문장 대비 모크샤어의 164개)에서는 성능이 크게 떨어짐.