[논문 리뷰] XLM-T: A Multilingual Language Model Toolkit for Twitter.

Francesco Barbieri, Luis Espinosa-Anke외 1명|arXiv (Cornell University)|2021. 04. 25.

Topic Modeling참고 문헌 38인용 수 32

한 줄 요약

XLM-T는 수백만 개의 트윗을 기반으로 30개 이상의 언어에서 사전 훈련된 다국어 언어 모델 툴킷을 제공하며, 8개 언어에서 통합된 감성 분석 데이터셋과 강력한 XLM-R 기반 모델을 제공함으로써 트위터에서의 다국어 자연어 처리를 표준화하고, 하류 작업에 대한 간편한 미세조정을 가능하게 하여 다국어 NLP의 발전을 이룬다.

ABSTRACT

Language models are ubiquitous in current NLP, and their multilingual capacity has recently attracted considerable attention. However, current analyses have almost exclusively focused on (multilingual variants of) standard benchmarks, and have relied on clean pre-training and task-specific corpora as multilingual signals. In this paper, we introduce XLM-T, a framework for using and evaluating multilingual language models in Twitter. This framework features two main assets: (1) a strong multilingual baseline consisting of an XLM-R (Conneau et al. 2020) model pre-trained on millions of tweets in over thirty languages, alongside starter code to subsequently fine-tune on a target task; and (2) a set of unified sentiment analysis Twitter datasets in eight different languages. This is a modular framework that can easily be extended to additional tasks, as well as integrated with recent efforts also aimed at the homogenization of Twitter-specific datasets (Barbieri et al. 2020).

연구 동기 및 목표

• 트위터 NLP를 위한 표준화된 다국어 벤치마크 부족 문제를 해결하기 위해 통합된 평가 프레임워크를 구축한다.
• 30개 이상의 언어에서 다양한 실제 트위터 데이터를 기반으로 사전 훈련된 강력한 다국어 기반 모델을 제공한다.
• 일관되고 고질적인 트위터 데이터셋을 사용하여 하류 작업에서 다국어 모델의 미세조정을 용이하게 한다.
• 모듈러하고 확장 가능한 프레임워크를 통해 트위터 전용 NLP 자원의 통합을 지원한다.
• 원시적이고 노이즈가 많은 소셜 미디어 텍스트에서 유래한 다국어 신호를 활용하여 교차 언어 전이 성능을 향상시킨다.

제안 방법

• 3000만 개 이상의 다국어 트윗을 기반으로 교차 언어 표현을 포착하기 위해 다국어 XLM-R 모델을 사전 훈련한다.
• 일관된 주석 및 전처리 표준을 사용하여 8개 언어에서 통합된 감성 분석 데이터셋을 구축한다.
• 감성 분석을 초과하는 새로운 작업에 쉽게 확장할 수 있도록 모듈러한 프레임워크를 설계한다.
• 목표 하류 작업에서 사전 훈련된 모델을 미세조정하기 위한 스타터 코드를 제공한다.
• 데이터 및 모델 구성 요소를 정렬하여 언어 및 작업 간 일관된 평가를 지원한다.
• 기존의 노력(예: Barbieri 등, 2020)을 활용하여 트위터 전용 NLP 데이터셋을 통일화한다.

실험 결과

연구 질문

• RQ1 트위터 데이터에서 미세조정된 다국어 XLM-R 모델이 저자원 언어와 고자원 언어 모두에서 얼마나 잘 일반화되는가?
• RQ2 통합된 다국어 트위터 데이터셋이 언어 간 모델 성능 향상과 비교 가능성 향상에 어느 정도 기여하는가?
• RQ3 표준화된 프레임워크가 다국어 트위터 NLP에서 데이터 및 평가의 이질성 문제를 어느 정도 줄일 수 있는가?
• RQ4 사전 훈련된 XLM-T 모델이 하류 트위터 NLP 작업의 기반 모델로 얼마나 효과적인가?
• RQ5 노이즈가 많은 실제 소셜 미디어 텍스트에서 다국어 사전 훈련을 사용할 경우 성능 향상은 어느 정도 이루어지는가?

주요 결과

• XLM-T 프레임워크는 30개 이상의 언어에서 3000만 개 이상의 트윗을 기반으로 사전 훈련된 강력한 다국어 기반 모델을 제공하여 효과적인 전이 학습을 가능하게 한다.
• 8개 언어에서 통합된 감성 분석 데이터셋은 일관되고 교차 언어 평가를 가능하게 하며 트위터 NLP에서의 데이터 이질성을 감소시킨다.
• 프레임워크는 사전 훈련된 모델을 새로운 작업에 쉽게 미세조정할 수 있도록 지원하여 재현 가능성과 확장성을 향상시킨다.
• 실제 세계의 다국어 트위터 데이터 사용은 저자원 언어 환경에서 모델의 강건성을 향상시킨다.
• 모듈러한 설계 덕분에 기존의 트위터 NLP 데이터셋 및 평가 프로토콜 표준화 노력과의 통합이 가능하다.
• 노이즈가 많은 소셜 미디어에서 유래한 다국어 사전 훈련 신호를 활용함으로써 교차 언어 성능 향상이 가능하다.