[논문 리뷰] Give your Text Representation Models some Love: the Case for Basque

Rodrigo Agerri, Iñaki San Vicente외 5명|arXiv (Cornell University)|2020. 03. 31.

Natural Language Processing Techniques참고 문헌 22인용 수 9

한 줄 요약

이 논문은 더 큰, 더 고품질의 바스크어 코퍼스를 기반으로 단일언어 텍스트 표현 모델—FastText, Flair, BERT—을 훈련시킬 경우, 다국어 모델보다 당사자 NLP 작업에서 유의미한 성능 향상을 이룬다는 것을 입증한다. 저자들은 주제 분류, 감성 분석, 품사 태깅, NER 등 네 가지 작업에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 단일언어 BERTeus 모델은 다국어 BERT보다 최대 10점의 절대 점수 향상을 보였다.

ABSTRACT

Word embeddings and pre-trained language models allow to build rich representations of text and have enabled improvements across most NLP tasks. Unfortunately they are very expensive to train, and many small companies and research groups tend to use models that have been pre-trained and made available by third parties, rather than building their own. This is suboptimal as, for many languages, the models have been trained on smaller (or lower quality) corpora. In addition, monolingual pre-trained models for non-English languages are not always available. At best, models for those languages are included in multilingual versions, where each language shares the quota of substrings and parameters with the rest of the languages. This is particularly true for smaller languages such as Basque. In this paper we show that a number of monolingual models (FastText word embeddings, FLAIR and BERT language models) trained with larger Basque corpora produce much better results than publicly available versions in downstream NLP tasks, including topic classification, sentiment classification, PoS tagging and NER. This work sets a new state-of-the-art in those tasks for Basque. All benchmarks and models used in this work are publicly available.

연구 동기 및 목표

• 기초 자원이 적은 언어인 바스크어에 대해 기존 사전 훈련 모델의 성능 부족 문제를 해결하기 위해 더 큰, 더 고품질의 코퍼스를 기반으로 단일언어 모델을 훈련시키는 것.
• 공개된 다국어 모델을 사용하는 것과 비교해, 전용 대규모 바스크어 코퍼스에서부터 모델을 새로 훈련시키는 것이 성능 향상에 기여하는지 조사하는 것.
• 226M 토큰의 바스크 미디어 코퍼스를 기반으로 FastText, Flair, BERT 모델을 훈련하고 평가하여 바스크어 NLP의 새로운 SOTA를 확립하는 것.
• 코퍼스의 품질과 크기, 언어 특화 서브워드 토크나이저가 기초 자원이 적은 언어인 바스크어의 모델 성능에 핵심적인 영향을 미친다는 것을 입증하는 것.
• 모델과 벤치마크를 모두 공개하여 재현 가능성과 바스크어 NLP 분야의 향후 연구를 지원하는 것.

제안 방법

• 바스크 위키백과와 여러 언론사의 뉴스 기사들을 통합한 226M 토큰의 바스크 미디어 코퍼스(BMC)를 수집하고 정제하였다.
• 표준 사전 훈련 절차를 사용하여 BMC에서 단일언어 FastText 단어 임베딩, Flair 언어 모델, 그리고 BERT 모델(BERTeus로 명명)을 훈련시켰다.
• 특정 언어에 최적화된 서브워드 토크나이저를 적용하여 해석 가능성과 성능을 향상시켰으며, 특히 형태학적으로 복잡한 바스크어에 특히 유리하였다.
• 주요 NLP 작업 네 가지—주제 분류, 감성 분류, 품사 태깅, NER—에서 공개된 다국어 모델(mBERT 등)과의 직접 비교를 수행하였다.
• 표준 평가 프로토콜과 지표(예: F1, 정확도)를 사용하여 다양한 모델 간 공정한 비교를 확보하였다.
• 재현 가능성과 재사용을 위해 Hugging Face 및 IXA NLP 그룹의 공개 레포지터리에서 모든 모델과 벤치마크를 배포하였다.

실험 결과

연구 질문

• RQ1 더 큰, 더 고품질의 바스크어 코퍼스를 기반으로 단일언어 텍스트 표현 모델을 훈련시킬 경우, 기존 공개된 다국어 모델보다 성능 향상이 유의미하게 이루어지는가?
• RQ2 226M 토큰의 바스크어 코퍼스를 기반으로 훈련된 단일언어 BERT 모델(BERTeus)의 성능이 다국어 BERT 모델(mBERT)과 비교하여 당사자 NLP 작업에서 어떻게 다른가?
• RQ3 코퍼스의 크기와 품질, 언어 특화 서브워드 토크나이저가 기초 자원이 적은 언어인 바스크어의 모델 성능 향상에 얼마나 기여하는가?
• RQ4 도메인 특화 코퍼스(예: 뉴스 기사)를 기반으로 훈련된 단일언어 모델이 NER나 감성 분류와 같은 작업에서 일반 목적의 다국어 모델보다 성능이 뛰어나게 되는가?
• RQ5 전용 고품질 코퍼스의 사용이 NER 작업에서 어순적 표현(예: 메타포)의 해석을 더 잘 가능하게 하는가?

주요 결과

• 모든 네 가지 당사자 작업에서 단일언어 BERTeus 모델이 공식 다국어 BERT보다 F1 점수에서 최대 10점의 절대 점수 향상을 보였다.
• 바스크 미디어 코퍼스를 기반으로 훈련된 FastText 및 Flair 모델은 주제 분류, 감성 분류, 품사 태깅, NER 작업에서 공개된 대응 모델보다 일관되게 높은 성능을 달성하였다.
• BERTeus 모델은 '미국'이나 '서유럽'과 같은 메타포적 실체를 ORGANIZATION로 정확히 분류한 반면, mBERT는 이를 LOCATION로 잘못 분류하여 더 나은 해석 능력을 보였다.
• BERTeus에서 사용된 언어 특화 서브워드 토크나이저는 mBERT의 짧고 해석이 어려운 분할보다 더 해석 가능하고 언어학적으로 의미 있는 서브워드(예: '의사'에 대한 'Mediku', 소유격의 's'에 대한 'aren')를 생성하였다.
• 성능 향상의 주요 원인은 더 큰 고품질 훈련 코퍼스와 단일언어 훈련 설정이며, 아키텍처의 변화는 아니다.
• 모든 모델과 벤치마크는 http://ixa2.si.ehu.es/text-representation-models/basque 에 공개되어 있어 재현 가능성과 향후 바스크어 NLP 연구를 지원한다.