[論文レビュー] NADI 2021: The Second Nuanced Arabic Dialect Identification Shared Task

Muhammad Abdul-Mageed, Chiyu Zhang+3 more|arXiv (Cornell University)|Mar 4, 2021

Natural Language Processing Techniques被引用数 46

ひとこと要約

本論文は NADI 2021 の共有タスクを four subtasks（country-level MSA/DA および province-level MSA/DA）にわたって、21 のアラブ諸国の100 provinces を対象にデータセット構築、評価、参加チーム、および結果を詳述している。

ABSTRACT

We present the findings and results of the Second Nuanced Arabic Dialect Identification Shared Task (NADI 2021). This Shared Task includes four subtasks: country-level Modern Standard Arabic (MSA) identification (Subtask 1.1), country-level dialect identification (Subtask 1.2), province-level MSA identification (Subtask 2.1), and province-level sub-dialect identification (Subtask 2.2). The shared task dataset covers a total of 100 provinces from 21 Arab countries, collected from the Twitter domain. A total of 53 teams from 23 countries registered to participate in the tasks, thus reflecting the interest of the community in this area. We received 16 submissions for Subtask 1.1 from five teams, 27 submissions for Subtask 1.2 from eight teams, 12 submissions for Subtask 2.1 from four teams, and 13 Submissions for subtask 2.2 from four teams.

研究の動機と目的

• Fine-grained Arabic dialect variation の理解を、country および province レベルで MSA と dialectal content を分離して深める。
• 21 国と 100 provinces をカバーする Twitter ベースのデータセットを four subtasks の四分類識別タスク向けに公開する。
• 標準化された公正な競争条件の下で、さまざまなモデリング手法を評価する。
• Arabic-speaking regions のソーシャルメディア文における堅牢な dialect identification 手法の開発を促進する。

提案手法

• 分類レベル（country および province）と品種（MSA および DA）で四つのサブタスクを区分。
• 2019 年の 10 ヶ月間に Twitter から 21 国と 100 provinces を横断してデータを収集；ツイートは country/province の varity を代理するためにユーザー所在地でラベル付け。
• 参加者には labeled TRAIN/DEV および unlabeled 10M tweet data が提供され、TEST labels は公式採点のために withholding。
• 公式評価指標は Macro-F1。Macro-precision、Macro-recall、および accuracy も報告。
• 参加者は提供データの使用に限定され、サブタスクごとに five submissions が許可；評価と透明性のため CodaLab を hosting。
• Baseline 系は majority-class baseline および fine-tuned mBERT baseline（max sequence length 64、20 epochs）。
• Top 系は主に Arabic dialects に合わせて設計された Transformer ベースのモデル（例：MARBERT、AraBERT）をファインチューニングおよび adapters を用いて活用。伝統的 ML を特徴量エンジニアリングとアンサンブルで用いたチームもあった。

実験結果

リサーチクエスチョン

• RQ1 Twitter データを用いて Modern Standard Arabic (MSA) と dialectal Arabic (DA) を country および province レベルで識別できるか。
• RQ2 21 国と 100 provinces における MSA および DA の下で country-level と province-level の言語多様性を識別する精度はどの程度か。
• RQ3 MSA および DA における country-level 分類とより細かな province-level 分類の間に、どの程度の性能差があるか。
• RQ4 サブ-country dialect identification のために、Transformers、ニューラルネット、古典的 ML などのどのモデリング手法が共有タスクの制約下で最も良い性能を示すか。

主な発見

• Subtask 1.1 (country-level MSA) のトップ系は 22.38 macro-F1 を達成。
• Subtask 1.2 (country-level DA) のトップ系は 32.26 macro-F1 を達成。
• Subtask 2.1 (province-level MSA) のトップ系は 6.43 macro-F1 を達成。
• Subtask 2.2 (province-level DA) のトップ系は 8.60 macro-F1 を達成。
• Baseline mBERT は Subtask 1.1 で 14.15 macro-F1、Subtask 1.2 で 18.02、Subtask 2.1 で 3.39、Subtask 2.2 で 4.08 を達成。