[논문 리뷰] SemEval-2023 Task 12: Sentiment Analysis for African Languages (AfriSenti-SemEval)

Shamsuddeen Hassan Muhammad, Idris Abdulmumin외 8명|arXiv (Cornell University)|2023. 04. 13.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 14개의 저자원 아프리카어를 대상으로 한 감성 분석을 위한 첫 번째 SemEval 공동 과제인 AfriSenti-SemEval를 소개한다. 110K개의 트윗 데이터셋을 활용하여 세 가지 감성 클래스(긍정, 부정, 중립)로 레이블링된 자료를 제공하며, 최신 기술로 구동되는 단일 언어, 다국어, 제로샷 분류 모델의 성능을 평가한다. 특히 아프리카 중심의 모델인 AfroXLMR가 다국어 분류에서 75.06%의 가중 F1 점수를 기록했고, 어휘 증강 BERT를 활용한 제로샷 분류에서는 58.15%의 성능을 달성했다.

ABSTRACT

We present the first Africentric SemEval Shared task, Sentiment Analysis for African Languages (AfriSenti-SemEval) - The dataset is available at https://github.com/afrisenti-semeval/afrisent-semeval-2023. AfriSenti-SemEval is a sentiment classification challenge in 14 African languages: Amharic, Algerian Arabic, Hausa, Igbo, Kinyarwanda, Moroccan Arabic, Mozambican Portuguese, Nigerian Pidgin, Oromo, Swahili, Tigrinya, Twi, Xitsonga, and Yorùbá (Muhammad et al., 2023), using data labeled with 3 sentiment classes. We present three subtasks: (1) Task A: monolingual classification, which received 44 submissions; (2) Task B: multilingual classification, which received 32 submissions; and (3) Task C: zero-shot classification, which received 34 submissions. The best performance for tasks A and B was achieved by NLNDE team with 71.31 and 75.06 weighted F1, respectively. UCAS-IIE-NLP achieved the best average score for task C with 58.15 weighted F1. We describe the various approaches adopted by the top 10 systems and their approaches.

연구 동기 및 목표

• 저자원 아프리카어에 대한 감성 분석 자원과 기준이 부족한 문제를 해결하기 위해, NLP 연구에서 미흡하게 다뤄지는 저자원 아프리카어를 대상으로 한다.
• 네 가지 언어 가문에 걸쳐 14개의 아프리카어를 아우르는 감성 분류를 위한 공동 평가 프레임워크를 구축한다.
• 특히 계산 자원이 제한된 언어에 특화된 다국어 및 제로샷 모델의 개발을 촉진한다.
• 공개된 데이터셋과 여러 아프리카어로 구성된 감성 어휘집을 제공하여 아프리카 NLP 연구를 장려한다.
• 특히 아프리카 중심의 사전 훈련된 언어 모델이 저자원 감성 분류 환경에서 얼마나 효과적인지 평가한다.

제안 방법

• 과제는 세 가지 하위 과제로 구성된다: 단일 언어 분류(과제 A), 다국어 분류(과제 B), 14개의 아프리카어에 대한 제로샷 분류(과제 C).
• 110K개의 트윗 데이터셋은 트위터 API를 통해 수집되었으며, 원어민이 세 가지 감성 클래스(긍정, 부정, 중립)로 레이블링하였다.
• 데이터셋은 아프리카-아시아어, 네퍼-콩고어, 인도-유럽어, 영어 크리올어의 네 가지 언어 가문에서 온 14개의 아프리카어를 포함한다.
• AfroXLMR, mDeBERTaV3, XLM-T와 같은 사전 훈련된 언어 모델(PLM)이 단일 언어 및 다국어 과제에 대해 미세 조정되었다.
• 제로샷 분류를 위해, 도메인 내 미세 조정 없이도 성능을 향상시키기 위해 감성 어휘집을 활용한 어휘 기반 다국어 BERT 모델이 훈련되었다.
• 팀들은 모델 일반화 성능 향상을 위해 도메인 적응형 사전 훈련, 앙상블 방법, 언어별 미세 조정 기법을 활용하였다.

Figure 2: A timeline of SemEval Shared Tasks from 2013 to 2022 with examples of sentiment analysis tasks.

실험 결과

연구 질문

• RQ1 AfroXLMR와 같은 아프리카 중심의 사전 훈련된 언어 모델이 저자원 아프리카어의 감성 분류에 얼마나 효과적인가?
• RQ2 단일 언어 감성 분류에서 도메인 및 작업 특화 미세 조정을 통해 얻을 수 있는 성능 향상은 어느 정도인가?
• RQ3 다국어 모델이 Oromo나 Tigrinya와 같은 저자원 아프리카어에 대해 제로샷 추론에 얼마나 잘 일반화되는가?
• RQ4 감성 어휘집이 아프리카어의 제로샷 감성 분류 성능 향상에 어느 정도 기여하는가?
• RQ5 코드 스위칭, 어조, 이중 철자법 등의 문제는 아프리카어 감성 분석에서 어떤 도전 과제가 되며, 이는 모델 성능에 어떻게 영향을 미치는가?

주요 결과

• NLNDE 팀은 AfroXLMR-large와 언어별 미세 조정을 활용하여 과제 A(단일 언어)에서 가장 높은 성능을 기록했으며, 가중 F1 점수는 71.31%였다.
• 과제 B(다국어)에서 NLNDE 팀은 공훈을 위한 최적의 소스 언어를 선택함으로써 75.06%의 가중 F1 점수를 달성했으며, 표준 다국어 미세 조정 방식을 뛰어넘었다.
• 과제 C(제로샷)에서 UCAS-IIE-NLP 팀은 어휘 증강 다국어 BERT 모델을 사용해 평균 가중 F1 점수 58.15%를 기록하며 최고 성능을 달성했다.
• AfroXLMR-large는 단일 언어 및 다국어 과제에서 다른 다국어 모델들을 압도하며 아프리카 NLP 분야에서의 효과성을 입증했다.
• 강력한 성능에도 불구하고 최고의 모델들은 여전히 고자원 언어 기준과 비교해 뒤처지며, 저자원 환경에서의 향상 여지가 크다는 점을 시사한다.
• 최고 성능을 낸 팀들은 아프리카 소속 기관과 연계되어 있지 않았으며, 이는 현재 아프리카 NLP 분야에서 현지 전문성의 격차가 존재하고 있으며, 더 포용적인 협업이 필요하다는 점을 보여준다.