[논문 리뷰] NaijaSenti: A Nigerian Twitter Sentiment Corpus for Multilingual Sentiment Analysis

Shamsuddeen Hassan Muhammad, David Ifeoluwa Adelani외 10명|arXiv (Cornell University)|2022. 01. 20.

Sentiment Analysis and Opinion Mining인용 수 57

한 줄 요약

NaijaSenti는 Hausa, Igbo, Nigerian-Pidgin, Yorùbá에 대한 대규모 수동 주석 트위터 감정 데이터셋을 처음으로 도입하고, 기본 모델과 언어 적응 기술을 제공합니다(~언어당 약 3만 개의 트윗). 연구는 언어별 모델과 LAFT가 이러한 자원이 부족한 나이지리아어에서 감정 분류를 개선함을 보여줍니다.

ABSTRACT

Sentiment analysis is one of the most widely studied applications in NLP, but most work focuses on languages with large amounts of data. We introduce the first large-scale human-annotated Twitter sentiment dataset for the four most widely spoken languages in Nigeria (Hausa, Igbo, Nigerian-Pidgin, and Yorùbá ) consisting of around 30,000 annotated tweets per language (and 14,000 for Nigerian-Pidgin), including a significant fraction of code-mixed tweets. We propose text collection, filtering, processing and labeling methods that enable us to create datasets for these low-resource languages. We evaluate a rangeof pre-trained models and transfer strategies on the dataset. We find that language-specific models and language-adaptivefine-tuning generally perform best. We release the datasets, trained models, sentiment lexicons, and code to incentivizeresearch on sentiment analysis in under-represented languages.

연구 동기 및 목표

• 네 가지 주요 나이지리아 언어(Hausa, Igbo, Nigerian-Pidgin, Yorùbá)에 대한 대규모의 수동 주석 감정 데이터셋을 생성한다.
• 저자원 나이지리아어에서 코드 혼합 및 단일언어 감정 분석을 가능하게 하여 언어자원 격차를 해결한다.
• 감정 어휘집을 제공하고 데이터셋, 모델, 코드의 공개 배포를 통해 저자원 언어 연구를 촉진한다.
• NaijaSenti에서 벤치마크 실험을 개발하고 전이 및 다국어 모델링 전략을 평가한다.

제안 방법

• 무언어 보정이 필요한 Twitter API 언어 지원이 부족한 경우 스톱워드, 이모지, 해시태그 및 언어/위치 필터링을 활용한 휴리스틱 크롤링으로 데이터 수집.
• 네이티브 화자가 다섯 분류 체계(POS, NEG, NEU, MIX, IND)로 수동 주석을 진행하고, 옥석 판단을 통해 골 라벨을 도출.
• 언어별 감정 어휘집의 생성 및 NRC와 AFFIN 어휘집의 반자동 번역을 인간 검증으로 보완.
• 여러 다국어 PLM(AfriBERTa, mBERT, XLM-R, RemBERT, mDeBERTaV3)을 현지화 파인튜닝, LAFT, 다중 작업 설정에서 평가.
• 영어 SemEval 2017으로부터의 교차 언어 제로샷 전이가 나이지리아 언어에 대해 어떻게 작용하는지 탐구.
• 단어집 확장 및 도메인 적응(트위터 대 일반)을 통한 LAFT로 성능 향상을 목표로 하는 언어 적응 파인튜닝.

실험 결과

연구 질문

• RQ1 네 가지 나이지리아 언어(Hausa, Igbo, Nigerian-Pidgin, Yorùbá)에 대한 대규모 감정 데이터셋의 품질과 특성은 무엇인가?
• RQ2 최첨단 다국어 PLM이 이러한 언어의 감정 분류에서 어떤 성능을 보이며, 언어 적응 미세 조정이 도움이 되는가?
• RQ3 단일 다국어 모델이 네 가지 나이지리아 언어의 감정 분류를 모두 효과적으로 처리할 수 있는가?
• RQ4 영어에서 이 네 가지 나이지리아 언어로의 교차 언어/제로샷 전이에 실질적인 이점이 있는가?
• RQ5 코드 혼합과 강세 구분이 주석 및 모델 성능에 어떤 영향을 주는가?

주요 결과

• NaijaSenti는 언어별로 약 30k개의 주석된 트윗(Hausa, Igbo, Nigerian-Pidgin, Yorùbá)을 포함한다.
• 코드 혼합이 일반적이며 Igbo의 경우 약 43%의 코드 혼합 콘텐츠를 보이고, Yorùbá와 Igbo의 성조 언어에서 강세 표기가 라벨링에 영향을 미친다.
• AfriBERTa-large와 XLM-R-base+LAFT가 언어 전반에서 평균 F1이 높게 나타나며(약 78% 수준), LAFT가 일반 도메인 사전학습에서의 이득을 제공하는 경향이 있다.
• 영어 SemEval 2017로부터의 제로샷 전이가 AfriBERTa와 RemBERT에 대해 상당한 이익을 주며; AfriBERTa가 종종 최상의 제로샷 성능을 제공한다.
• 200개의 트윗에 대한 인간 평가에서 마이크로-F1은 약 0.75–0.85, MCC는 약 0.63–0.77로 언어 간 데이터셋의 신뢰성을 확인하였다.
• 단일 다국어 모델(AfriBERTa 또는 mDeBERTaV3)이 단일언어 성능에 접근할 수 있어 네 가지 언어 모두에 대한 실용적 배치를 가능하게 한다.