[論文レビュー] Multi-Dialect Arabic BERT for Country-Level Dialect Identification

Bashar Talafha, Mohammad Ali+6 more|arXiv (Cornell University)|Jul 10, 2020

Natural Language Processing Techniques参考文献 25被引用数 45

ひとこと要約

この論文は Mawdoo3 AI の NADI Task 1 に対する勝利アプローチを、10M の unlabeled tweets を追加した微調整済み ArabicBERT、アンサンブル予測を用いて、サブタスクで micro-F1 が 26.78% を達成したことを示す。モデルは Multi-dialect-Arabic-BERT として公開される。

ABSTRACT

Arabic dialect identification is a complex problem for a number of inherent properties of the language itself. In this paper, we present the experiments conducted, and the models developed by our competing team, Mawdoo3 AI, along the way to achieving our winning solution to subtask 1 of the Nuanced Arabic Dialect Identification (NADI) shared task. The dialect identification subtask provides 21,000 country-level labeled tweets covering all 21 Arab countries. An unlabeled corpus of 10M tweets from the same domain is also presented by the competition organizers for optional use. Our winning solution itself came in the form of an ensemble of different training iterations of our pre-trained BERT model, which achieved a micro-averaged F1-score of 26.78% on the subtask at hand. We publicly release the pre-trained language model component of our winning solution under the name of Multi-dialect-Arabic-BERT model, for any interested researcher out there.

研究の動機と目的

• 21 のアラブ諸国にわたる国レベルのアラビア語方言識別の課題を動機づけ、取り組む。
• 事前学習済み Arabic BERT と大規模な未ラベルデータを活用して方言分類を改善する。
• 最大シーケンス長が異なるモデルのアンサンブルを開発し、性能を向上させる。
• 研究コミュニティのために pre-trained Multi-dialect-Arabic-BERT モデルを公開する。

提案手法

• 約 93 GB のアラビア語データで訓練された ArabicBERT を出発点として NADI Task 1 データでファインチューニングする。
• 10M の未ラベル NADI ツイートで 3 エポック追加事前学習を行い、Multi-dialect-Arabic-BERT を作成する。
• 異なる最大シーケンス長で複数回の学習を行い、それらの softmax 出力を確率の平均でアンサンブルする。
• 従来の ML および他の DL ベースラインと比較し、BERT ベースのモデルが上回ることを示す。
• 任意で語彙ベースのポストホックルールを適用することもあり、開発指標は改善したが過学習によりテスト結果は低下した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの Arabic BERT モデルをDomain データでさらに事前学習させると、国レベルのアラビア語方言識別で最新の性能を達成できるのか。
• RQ2 異なるシーケンス長の複数の BERT を組み合わせるアンサンブルは NADI タスクの macro-F1 を改善するのか。
• RQ3 追加の未ラベルデータ（10M ツイート）はモデル性能にどのように影響するのか。
• RQ4 BERT ベースのアプローチは NADI Task 1 で従来の ML や他の DL 手法と比べてどうか。

主な発見

Model	Dev Set Accuracy	Dev Set F1-Score	Test Set Accuracy	Test Set F1-Score
MADAR-Safina	33.35	10.1	-	-
Logistic-Regression	35.65	16.57	-	-
MADAR-1 Mawdoo3	33.45	12.24	-	-
MADAR-1 JUST	30.3	17.07	-	-
FastText-embeddings	34.28	19.74	-	-
Aravec fully connected	35.67	20.86	-	-
Arabic-BERT-Single	40.85	24.45	-	-
Arabic-BERT-Ensemble-Diff-Len	41.48	24.92	-	-
Multi-dialect-Arabic-BERT	43.7	26	-	-
Multi-dialect-Arabic-BERT-Ensemble-Diff-Len	44.95	27.58	42.86	26.77
Multi-dialect-Arabic-BERT-Ensemble-Diff-Len with rules	45.07	29.03	42.55	26.77

• 異なるシーケンス長を持つ 4 モデルのアンサンブルが、開発データの macro-F1 で最も高く 27.58%、テストデータの macro-F1 で 26.78% を達成した。
• 単独の Multi-dialect-Arabic-BERT は開発データで 26% の macro-F1 を達成し、アンサンブルにより開発は 27.58%（開発）および 26.78%（テスト）へ向上。
• 語彙ベースのルールは開発 F1 を 29.03% に引き上げたが、テスト F1 は 26.77% とわずかに低下。
• 従来の ML および非 BERT の DL モデルは BERT ベースの手法に比べて性能が劣り、開発時の macro-F1 は ~21% を超えなかった。
• 最終提出アプローチは NADI Task 1 で 1 位を獲得し、サブタスクでの micro-F1 は 26.78% を報告。