[논문 리뷰] NADI 2021: The Second Nuanced Arabic Dialect Identification Shared Task

Muhammad Abdul-Mageed, Chiyu Zhang외 3명|arXiv (Cornell University)|2021. 03. 04.

Natural Language Processing Techniques인용 수 46

한 줄 요약

본 논문은 NADI 2021 공유 작업을 네 가지 하위 작업(국가 수준 MSA/DA 및 주 수준 MSA/DA)을 다루며 21개 아랍 국가의 100개 주에 대해 dataset 구성, 평가, 참가 팀 및 결과를 자세히 설명한다.

ABSTRACT

We present the findings and results of the Second Nuanced Arabic Dialect Identification Shared Task (NADI 2021). This Shared Task includes four subtasks: country-level Modern Standard Arabic (MSA) identification (Subtask 1.1), country-level dialect identification (Subtask 1.2), province-level MSA identification (Subtask 2.1), and province-level sub-dialect identification (Subtask 2.2). The shared task dataset covers a total of 100 provinces from 21 Arab countries, collected from the Twitter domain. A total of 53 teams from 23 countries registered to participate in the tasks, thus reflecting the interest of the community in this area. We received 16 submissions for Subtask 1.1 from five teams, 27 submissions for Subtask 1.2 from eight teams, 12 submissions for Subtask 2.1 from four teams, and 13 Submissions for subtask 2.2 from four teams.

연구 동기 및 목표

• 국가 및 주 수준에서 MSA와 방언 콘텐츠를 분리함으로써 세밀한 아랍어 방언 변이의 이해를 증진한다.
• 4개의 방언 식별 하위 작업을 위한 21개국과 100개 주를 포괄하는 공개적으로 이용 가능한 Twitter 기반 데이터셋을 제공한다.
• 표준화되고 공정한 대회 제약 하에서 다양한 모델링 접근법을 평가한다.
• 아랍어 사용 지역 전역의 소셜 미디어 텍스트에서 강건한 방언 식별 방법의 개발을 촉진한다.

제안 방법

• 분류 수준(국가 및 주)과 다양성(MSA와 DA)에 따라 나뉜 네 개의 하위 작업.
• 2019년 10개월에 걸쳐 Twitter에서 21개국 및 100개 주의 데이터를 수집; 트윗은 사용자 위치로 레이블링되어 국가/주 다양성을 대리하도록 사용.
• 레이블이 부여된 TRAIN/DEV와 레이블이 없는 10M 트윗 데이터가 제공되었으며; TEST 라벨은 보류되어 공식 점수에 사용되었다.
• Macro-F1이 공식 평가 지표였고; macro-precision, macro-recall, 및 accuracy도 보고되었다.
• 참가자들은 제공된 데이터만 사용할 수 있도록 제한되었고; 하위 작업당 다섯 개의 제출이 허용되었으며; 평가와 투명성을 위한 CodaLab 호스팅.
• 기준 시스템에는 다수 클래스 베이스라인과 미세 조정된 mBERT 베이스라인(max sequence length 64, 20 epochs)이 포함되었다.
• 상위 시스템은 주로 Arabic 방언에 맞춘 Transformer 기반 모델(MARBERT, AraBERT 등)으로 미세조정과 어댑터를 활용했으며; 일부 팀은 특징 엔지니어링과 앙상블을 사용한 전통 ML을 활용했다.

실험 결과

연구 질문

• RQ1 머신러닝 모델이 Twitter 데이터를 사용하여 국가 및 주 수준에서 Modern Standard Arabic (MSA)와 dialectal Arabic (DA)을 구분할 수 있는가?
• RQ2 MSA와 DA 내에서 21개국 및 100개 주에 걸쳐 국가 수준과 주 수준의 언어 변이 식별을 모델이 얼마나 잘 수행하는가?
• RQ3 MSA와 DA에 대해 국가 수준 분류와 더 상세한 주 수준 분류 간 성능 차이는 무엇인가?
• RQ4 하위 국가 방언 식별에 대해 공유 작업 제약 하에서 어떤 모델링 접근법(Transformer, 신경망, 전통 ML)이 가장 성능이 우수한가?

주요 결과

• 하위 작업 1.1 (국가 수준 MSA) 최고 시스템은 22.38 macro-F1을 달성했다.
• 하위 작업 1.2 (국가 수준 DA) 최고 시스템은 32.26 macro-F1을 달성했다.
• 하위 작업 2.1 (주 수준 MSA) 최고 시스템은 6.43 macro-F1을 달성했다.
• 하위 작업 2.2 (주 수준 DA) 최고 시스템은 8.60 macro-F1을 달성했다.
• 기준 mBERT는 하위 작업 1.1에서 14.15 macro-F1, 1.2에서 18.02, 2.1에서 3.39, 2.2에서 4.08를 달성했다.