[論文レビュー] DziriBERT: a Pre-trained Language Model for the Algerian Dialect

Amine Abdaoui, Mohamed Berrimi+2 more|arXiv (Cornell University)|Sep 25, 2021

Natural Language Processing Techniques参考文献 22被引用数 7

ひとこと要約

DziriBERT は、110万件のアルジェリア言語のツイートを用いて事前学習された BERT ベースの言語モデルであり、この低リソース言語（ローマ字を使用）の NLP リソース不足に対処することを目的としている。他のモデルと比べて著しく少ない 150 MB のデータで学習しているにもかかわらず、感情分析、感情分類、トピック分類のタスクで最先端の性能を達成しており、特にローマ字（アラビジ）表記において、マルチリンガルモデルやアラビア語固有のモデル（XLM-R や MARBERT）を上回っている。

ABSTRACT

Pre-trained transformers are now the de facto models in Natural Language Processing given their state-of-the-art results in many tasks and languages. However, most of the current models have been trained on languages for which large text resources are already available (such as English, French, Arabic, etc.). Therefore, there are still a number of low-resource languages that need more attention from the community. In this paper, we study the Algerian dialect which has several specificities that make the use of Arabic or multilingual models inappropriate. To address this issue, we collected more than one million Algerian tweets, and pre-trained the first Algerian language model: DziriBERT. When compared with existing models, DziriBERT achieves better results, especially when dealing with the Roman script. The obtained results show that pre-training a dedicated model on a small dataset (150 MB) can outperform existing models that have been trained on much more data (hundreds of GB). Finally, our model is publicly available to the community.

研究の動機と目的

• アルジェリア語という、ソーシャルメディアで顕著な社会言語的影響を持つ低リソース言語の NLP リソース不足に対処すること。
• 既存のマルチリンガルモデルやアラビア語固有のモデルが、ローマ字（アラビジ）表記や混合スクリプト表記というアルジェリア語の独自の特徴に不適切であるという限界を克服すること。
• より小さなドメイン特化型の学習データでさえ、低リソース NLP において高い性能を達成できることを示すこと。
• アルジェリア語向けに特化した公開可能な言語モデルを提供し、下流の NLP アプリケーションを支援すること。

提案手法

• Twitter API を用いてアルジェリアの都市から 120 万件のツイートを収集し、方言表現やマルチスクリプト表記を含むものを抽出した。
• ユーザー名、メールアドレス、URL を匿名化する前処理を実施し、110 万件のユニークなツイート（150 MB）を学習および評価用に準備した。
• 語彙サイズ 50,000 の WordPiece タイライザーを学習データ上で学習させ、語彙的および綴りの変化に対応した。
• マスク言語モデル（MLM）を用い、25% のマスキング確率で、12 層、768 次元の隠れ層、12 個のアテンションヘッドを持つ BERT-base 構造をファインチューニングした。次文予測タスクは省略した。
• AWS g4dn.2xlarge インスタンス（T4 GPU 搭載）を用い、50 エポック（約 80 万ステップ）で学習を実施し、10 日で収束した。
• 最終モデルを Hugging Face Transformers Hub に公開し、下流タスクにおける今後のファインチューニングを可能にした。

実験結果

リサーチクエスチョン

• RQ1 150 MB の小規模でドメイン特化型のデータセットで事前学習された BERT ベースのモデルが、より大きなマルチリンガルモデルやアラビア語固有のモデルを上回る性能を示せるか？
• RQ2 アルジェリア語がローマ字（アラビジ）表記で書かれた場合とアラビア文字表記で書かれた場合とで、事前学習モデルの性能にどのような差が生じるか？
• RQ3 一般的なマルチリンガルモデルやアラビア語モデルと比較して、アルジェリア語専用のモデルが、下流 NLP タスクにおいてどれほど性能を向上させるか？
• RQ4 語彙サイズとモデルパラメータ数を削減することで、パフォーマンスを損なわせることなく、実装効率を向上させられるか？

主な発見

• DziriBERT はアラビア文字表記の Twifil データセットで最先端の結果を達成し、感情分類タスクで 81.1% の F1 スコアを記録。mBERT や XLM-R、AraBERT を上回った。
• ローマ字表記（Narabizi データセット）では、感情分類で 63.5% の正答率、トピック分類で 62.8% の正答率を達成。これは MARBERT よりもそれぞれ +5.5%、+13.8% の優位性を示した。
• 150 MB のデータでの学習にもかかわらず、128 GB のテキストで事前学習された MARBERT をも上回った。これは、低リソース環境でもデータ効率の高い学習が可能であることを示している。
• 語彙サイズ 50,000 により、DziriBERT はモデルのサイズ（498 MB）とパラメータ数（1億2400万）が、他のベースラインと比較して小さく、パブリッククラウドプラットフォームへのデプロイが容易である。
• ローマ字表記での性能差は、既存のマルチリンガルモデルが非標準表記に対処する能力に欠けるという課題を浮き彫りにしている。
• 誤差分析の結果、DziriBERT は MARBERT よりもアラジール語以外のアラビア語コンテンツに対しては劣ることが判明。これは、DziriBERT の強みが、多言語的汎用性ではなく、方言特化型の一般化能力にあることを示している。