[논문 리뷰] Mono vs Multilingual Transformer-based Models: a Comparison across Several Language Tasks

Diego de Vargas Feijó, Viviane P. Moreira|arXiv (Cornell University)|2020. 07. 19.

Topic Modeling참고 문헌 17인용 수 7

한 줄 요약

이 논문은 다양한 포르투갈어 코퍼스에서 사전 훈련된 단일 언어 BERT 및 ALBERT 모델인 BertPT와 AlbertPT를 소개하고, 이들이 7개의 NLP 작업에서 다국어 BERT와의 성능을 비교한다. 결과적으로 단일 언어 모델은 대부분의 작업에서 최고 성능을 기록하며, 다국어 BERT와 5% 이내의 성능 격차를 보이며, 포르투갈어를 위한 단일 언어 모델을 훈련하는 데서는 최소한의 이점이 있음을 시사한다.

ABSTRACT

BERT (Bidirectional Encoder Representations from Transformers) and ALBERT (A Lite BERT) are methods for pre-training language models which can later be fine-tuned for a variety of Natural Language Understanding tasks. These methods have been applied to a number of such tasks (mostly in English), achieving results that outperform the state-of-the-art. In this paper, our contribution is twofold. First, we make available our trained BERT and Albert model for Portuguese. Second, we compare our monolingual and the standard multilingual models using experiments in semantic textual similarity, recognizing textual entailment, textual category classification, sentiment analysis, offensive comment detection, and fake news detection, to assess the effectiveness of the generated language representations. The results suggest that both monolingual and multilingual models are able to achieve state-of-the-art and the advantage of training a single language model, if any, is small.

연구 동기 및 목표

• 다국어 NLP 자원에서 포르투갈어의 부족한 표현 문제를 해결하기 위해 단일 언어 BERT 및 ALBERT 모델을 훈련하고 공개한다.
• 단일 언어 NLP 작업에서 단일 언어 포르투갈어 모델이 다국어 모델을 능가하는지 평가한다.
• 다양한 포르투갈어 NLP 작업에서 단일 언어(BertPT, AlbertPT)와 다국어 BERT의 효과성을 비교한다.
• 복잡한 훈련 파이프라인 없이도 연구자들이 자유롭게 이용할 수 있는 고품질의 사전 훈련된 포르투갈어 NLP 모델을 제공한다.

제안 방법

• 위키피디아, 뉴스, 자막, 연구 초록, 의회 회의 기록 등 다양한 포르투갈어 텍스트 소스를 포함한 혼합 코퍼스에서 BERT 및 ALBERT 모델(BertPT 및 AlbertPT)을 사전 훈련한다.
• 마스크된 언어 모델링 및 다음 문장 예측 사전 훈련 목표를 사용한 표준 BERT 및 ALBERT 아키텍처를 적용한다.
• 정확도, F1 점수, 매크로/마이크로 평균과 같은 표준 메트릭을 사용하여 10겹 교차 검증을 통해 일련의 하류 NLP 작업에서 모델을 피지컬 튜닝한다: 의미적 텍스트 유사도, 텍스트 함의, 텍스트 분류, 감성 분석, 공격적 댓글 탐지, 가짜 뉴스 탐지, 감정 분류.
• 성능 평가 시 표준 메트릭(정확도, F1 점수, 매크로/마이크로 평균)을 사용하고 10겹 교차 검증을 수행한다.
• 공개된 기준 모델 및 공식 다국어 BERT 모델과의 성능을 비교하며, 성능 차이가 5% 이내일 경우 동일한 성능로 간주한다.
• 감정 분류 작업에는 다중 클래스 및 이진 분류 설정을 모두 적용하였으며, 6개 감정 클래스에 대한 평균 F1 점수와 정확도를 사용한다.

실험 결과

연구 질문

• RQ1 포르투갈어로 사전 훈련된 단일 언어 BERT 모델이 포르투갈어 NLP 작업에서 다국어 BERT 모델을 능가하는가?
• RQ2 BertPT와 AlbertPT의 성능은 다양한 NLP 작업에서 기존의 작업별 기준 모델보다 어떻게 비교되는가?
• RQ3 다양한 포르투갈어 텍스트 도메인에서 훈련하는 것이 다국어 모델 대비 모델 일반화 능력을 얼마나 향상시키는가?
• RQ4 단일 언어 모델과 다국어 모델 간의 성능 차이가 포르투갈어를 위한 전용 단일 언어 모델 훈련을 정당화할 정도로 유의미한가?
• RQ5 모델 크기와 훈련 효율성(예: ALBERT 대 BERT)이 포르투갈어의 저자원 NLP 작업에서 성능에 어떻게 영향을 미치는가?

주요 결과

• BertPT와 AlbertPT는 평가된 7개의 NLP 작업 중 대부분에서 기존 기준 모델을 초월하며, 포르투갈어에 대해 뛰어난 성능을 보였다.
• BertPT/AlbertPT와 다국어 BERT 간의 성능 격차는 38개의 쌍 비교 중 32개에서 5% 이내였으며, 이는 유사한 효과성을 시사한다.
• AlbertPT는 38개 비교 중 28개에서 BertPT와 동일하거나 더 뛰어난 성능을 기록했으며, 6승 4패를 기록했고, 훈련 비용도 낮아 더 선호되는 선택이었다.
• 다국어 BERT는 쌍 비교에서 BertPT(12승)와 AlbertPT(13승)보다 더 많은 승수(13승)를 기록했으며, 스페인어와 유사한 언어에 노출된 덕분에 약간의 우위를 보였다.
• 비공식 텍스트 작업(예: 공격적 댓글 탐지 및 감성 분석)에서 모델의 성능이 특히 뛰어났으며, 다국어 BERT는 이러한 스타일의 텍스트에 대해 훈련되지 않아 성능이 떨어졌다.
• 감정 분류에서의 오분류 원인은 주로 데이터셋의 애너테이션 불일치 때문이었으며, 모델의 한계 때문이 아니었다. 모델는 강력한 기준 모델(F1 0.84)과 유사하거나 약간 낮은 성능을 기록했지만, 다중 클래스 설정에서 정확도는 낮았다.