[논문 리뷰] XLM-T: Multilingual Language Models in Twitter for Sentiment Analysis and Beyond

Francesco Barbieri, Luis Espinosa-Anke외 1명|arXiv (Cornell University)|2021. 04. 25.

Sentiment Analysis and Opinion Mining인용 수 134

한 줄 요약

XLM-T는 XLM-R 기반의 Twitter-특정 다국어 언어 모델로, 30+ languages에서 학습된 198M 트윗으로 학습되었으며, 통합 다국어 감성 벤치마크와 교차-언어 전이 작업에서 평가되고, 분석 및 미세 조정을 위한 스타터 도구가 제공됩니다.

ABSTRACT

Language models are ubiquitous in current NLP, and their multilingual capacity has recently attracted considerable attention. However, current analyses have almost exclusively focused on (multilingual variants of) standard benchmarks, and have relied on clean pre-training and task-specific corpora as multilingual signals. In this paper, we introduce XLM-T, a model to train and evaluate multilingual language models in Twitter. In this paper we provide: (1) a new strong multilingual baseline consisting of an XLM-R (Conneau et al. 2020) model pre-trained on millions of tweets in over thirty languages, alongside starter code to subsequently fine-tune on a target task; and (2) a set of unified sentiment analysis Twitter datasets in eight different languages and a XLM-T model fine-tuned on them.

연구 동기 및 목표

• Twitter 데이터에 맞춘 다국어 LM의 생성을 촉진하여 도메인 특유의 언어 신호(이모지, 속어 등)를 해결하려고 합니다.
• Twitter에 맞게 적응된 XLM-R 기반의 대규모 프리트레이닝 기준선(XLM-Twitter)을 제공하고, 미세조정 및 평가를 위한 코드를 공개합니다.
• 여덟 개 언어에 걸친 통합 다국어 감성 분석 벤치마크(UMSAB)를 만들어 공정한 교차 언어 평가가 가능하도록 합니다.
• 제로샷 및 데이터 증강 교차 언어 전이를 조사하여 다국어 데이터가 단일 언어 데이터보다 언제 더 도움이 되는지 이해합니다.

제안 방법

• URL 필터링 없이 198M 트윗(12B 토큰)에 대해 XLM-R 프리트레이닝을 계속하여 Twitter-특정 다국어 LM을 프리트레이닝하고, masked LM 목표를 사용하여 검증 수렴까지 진행합니다(8 GPUs에서 약 14일).
• 적응기(adapters)를 사용하여 LM을 미세조정합니다(기본 LM은 동결하고 추가 분류기 계층을 학습).
• HuggingFace 생태계 내에서 트윗 임베딩 추출, 미세조정, 추론 및 평가를 위한 스타터 Python 코드를 제공합니다.
• 여덟 개 언어에 걸친 균형 잡힌 고정 크기 분할(언어당 3,033 훈련, 870 테스트)을 갖춘 Unified Multilingual Sentiment Analysis Benchmark(UMSAB)를 통합 및 큐레이션합니다.
• 모노링구얼, 제로샷 교차언어, 다국어 전이 설정에서 XLM-R과 XLM-Twitter를 다양한 작업 및 언어에 걸쳐 비교 평가합니다.

실험 결과

연구 질문

• RQ1 Twitter-전용 다국어 LM이 여러 언어의 감성 분석 작업에서 표준 다국어 LM과 어떻게 비교되는가?
• RQ2 도메인 특화 프리트레이닝(Twitter)이 제로샷 및 다국어 전이 설정에서 다국어 감성 분석 성능에 미치는 영향은 무엇인가?
• RQ3 균형 잡힌 통합 다국어 감성 벤치마크(UMSAB)가 Twitter 데이터에 대해 일관된 교차 언어 전이 패턴을 드러내는가?
• RQ4 어댑터가 전체 모델 업데이트 없이 Twitter-특정 작업에 대해 대규모 다국어 LM의 효율적인 미세조정을 가능하게 하는가?
• RQ5 어떤 학습 데이터 전략(단일언어, 이중언어, 다국어)이 교차 언어 감성 분석 성능을 가장 잘 지원하는가?

주요 결과

• XLM-Twitter는 일반적으로 비-Twitter 다국어 기준선보다 다국어 감성 벤치마크에서 우수하며 제로샷 교차언어 설정에서도 견고함을 보인다.
• 제로샷 실험에서 XLM-Twitter는 대부분의 언어에서 강한 결과를 달성하며 XLM-R 대비 주목할 만한 이득이 있다(예: 힌디어).
• 대상언어 데이터(단일언어, 이중언어, 다국어)와 함께하는 교차 언어 전이는 다수의 언어 데이터를 포함하는 것이 종종 도움을 주며, 단일 다국어 모델은 때때로 최고 모노링구얼 성능의 손실을 감수하더라도 실용성을 제공한다.
• 도메인 특화 Twitter 프리트레이닝 신호가 소셜 미디어 하류 작업에서 일반 도메인 다국어 모델보다 이점을 제공한다.
• 이모지 및 기타 Twitter-특정 신호가 트윗 임베딩의 의미 표현에 유의미하게 기여한다.
• 제공된 프레임워크와 데이터(UMSAB, XLM-Twitter)는 재현 가능한 다국어 Twitter NLP 연구 및 비교를 촉진한다.