[논문 리뷰] Multilingual is not enough: BERT for Finnish

Antti Virtanen, Jenna Kanerva외 6명|arXiv (Cornell University)|2019. 12. 15.

Topic Modeling참고 문헌 45인용 수 121

한 줄 요약

이 논문은 다국어 BERT(M-BERT)와 핀란드어 특화 BERT(FinBERT)를 처음부터 학습하여 FinBERT가 핀란드어 POS 태깅, NER, 의존 구문분석에서 일관되게 M-BERT를 상회하고 새로운 최첨단 성능을 달성한다는 것을 보여준다. 또한 다운스트림 텍스트 분류와 프로빙 태스크를 조사하여 언어 특정 이점과 데이터 도메인 효과를 특징화한다.

ABSTRACT

Deep learning-based language models pretrained on large unannotated text corpora have been demonstrated to allow efficient transfer learning for natural language processing, with recent approaches such as the transformer-based BERT model advancing the state of the art across a variety of tasks. While most work on these models has focused on high-resource languages, in particular English, a number of recent efforts have introduced multilingual models that can be fine-tuned to address tasks in a large number of different languages. However, we still lack a thorough understanding of the capabilities of these models, in particular for lower-resourced languages. In this paper, we focus on Finnish and thoroughly evaluate the multilingual BERT model on a range of tasks, comparing it with a new Finnish BERT model trained from scratch. The new language-specific model is shown to systematically and clearly outperform the multilingual. While the multilingual model largely fails to reach the performance of previously proposed methods, the custom Finnish BERT model establishes new state-of-the-art results on all corpora for all reference tasks: part-of-speech tagging, named entity recognition, and dependency parsing. We release the model and all related resources created for this study with open licenses at https://turkunlp.org/finbert .

연구 동기 및 목표

• 다국어 BERT(M-BERT)의 핀란드어 NLP 태스크에서의 효과성 평가.
• 처음부터 학습된 핀란드어 특화 BERT(FinBERT) 개발 및 사전학습.
• POS 태깅, NER, 의존 구문분석에서 FinBERT와 M-BERT의 체계적 비교.
• 텍스트 분류 및 프로빙 태스크에서 FinBERT와 M-BERT 평가.
• FinBERT 및 관련 자원을 오픈 리서치용으로 공개 출시.

제안 방법

• 대규모의 정제된 핀란드어 말뭉치를 이용해 FinBERT(대/소문자 구분 여부 포함, 110M 파라미터)를 사전학습
• 클린 데이터로 구성된 코퍼스를 사용해 BPE로 50k 어휘를 구성하고 대소문자 구분 버전 모두를 적용
• 모델 변형마다 1M 스텝 학습, 시퀀스 길이 128 및 512, warmup이 있는 LAMB 옵티마이저 사용; 8x Nvidia V100 GPU에서 모델당 약 12일 예상
• 파인튜닝은 핀란드어 데이터셋에서 FinBERT와 M-BERT를 POS 태깅, NER, 의존 구문분석, 텍스트 분류에 대해 수행하고, 학습률과 에포크를 그리드 서치로 탐색
• UD 핀란드어 코퍼스(TDT, FTB, PUD)로 POS/구문분석 평가, FiNER로 NER 평가; 최첨단 벤치마크와 비교.

실험 결과

연구 질문

• RQ1 언어 특화 핀란드어 BERT가 핵심 핀란드어 NLP 태스크에서 다국어 BERT보다 우수한가?
• RQ2 FinBERT가 POS 태깅, NER, 의존 구문분석에서 M-BERT 및 이전 방법들보다 어느 정도 향상시키는가?
• RQ3 다양한 데이터 규모에서 핀란드어 텍스트 분류 및 프로빙 태스크에서 FinBERT의 성능은 어떠한가?
• RQ4 핀란드어 BERT의 성능에 토크나이제이션 어휘 및 대소문자 구분이 어떤 영향을 주는가?
• RQ5 사전학습 데이터와 평가 데이터 간의 도메인 일치가 모델 성능에 어떤 영향을 미치는가?

주요 결과

• FinBERT는 세 가지 핵심 과제(POS 태깅, NER, 의존 구문분석)에서 여러 핀란드어 코퍼스에 걸쳐 일관되게 M-BERT 및 이전 방법을 능가한다.
• POS 태깅에서 FinBERT 대소문자 구분 버전이 Best CoNLL’18 결과보다 최대 1.7% 포인트 개선; 대소문자 구분 없는 FinBERT도 여러 경우에서 대소문자 구분 있는 버전과 경쟁력이 있다.
• NER에서 FinBERT(두 변형 모두)가 도메인 내에서 M-BERT와 FiNER-tagger를 능가하며, 도메인 내에서 FinBERT 대소문자 구분 버전이 81.47의 F1을 달성; 도메인 외에서도 FinBERT가 M-BERT를 능가한다.
• 의존 구문분석에서 FinBERT를 사용한 Udify가 세 가지 핀란드어 트리뱅크에서 최첨단 LAS를 달성하며, 이전 최상의 성능 대비 2.3–3.6% 포인트의 개선; 일반적으로 대소문자 구분 있는 FinBERT가 구분 없는 것보다 우수한 경향.
• 텍스트 분류에서 FinBERT가 M-BERT를 능가하며, 특히 작은 학습 데이터에서 두드러진다; 도메인 불일치(뉴스 vs. 토론)가 이익에 영향을 미치며, 비공식 핀란드어와 일치하는 사전학습 데이터에서 FinBERT의 이점을 볼 수 있다.