[論文レビュー] ARBERT & MARBERT: Deep Bidirectional Transformers for Arabic

Muhammad Abdul-Mageed, AbdelRahim Elmadany+1 more|arXiv (Cornell University)|Dec 27, 2020

Natural Language Processing Techniques被引用数 10

ひとこと要約

本稿では、ARBERTおよびMARBERTという、大規模で多様なアラビア語データセット（SNSや複数の方言を含む）を事前学習した、深層双方向トランスフォーマー基盤の言語モデルを紹介する。これにより、多言語および低リソースなアラビア語NLPタスクにおける性能が向上する。著者らはまた、6つのタスククラスタにまたがる42のデータセットを含む、ARLUEという新しいベンチマークを提案する。このベンチマーク上で、彼らのモデルは最先端の結果（ARLUEスコア77.40）を達成しており、サイズが3.4倍も小さいにもかかわらず、XLM-R Largeのようなより大きなモデルを上回っている。

ABSTRACT

Pre-trained language models (LMs) are currently integral to many natural language processing systems. Although multilingual LMs were also introduced to serve many languages, these have limitations such as being costly at inference time and the size and diversity of non-English data involved in their pre-training. We remedy these issues for a collection of diverse Arabic varieties by introducing two powerful deep bidirectional transformer-based models, ARBERT and MARBERT. To evaluate our models, we also introduce ARLUE, a new benchmark for multi-dialectal Arabic language understanding evaluation. ARLUE is built using 42 datasets targeting six different task clusters, allowing us to offer a series of standardized experiments under rich conditions. When fine-tuned on ARLUE, our models collectively achieve new state-of-the-art results across the majority of tasks (37 out of 48 classification tasks, on the 42 datasets). Our best model acquires the highest ARLUE score (77.40) across all six task clusters, outperforming all other models including XLM-R Large (~ 3.4 x larger size). Our models are publicly available at https://github.com/UBC-NLP/marbert and ARLUE will be released through the same repository.

研究の動機と目的

• 既存の多言語および単一言語モデルが、SNSなど実世界のテキストや多様なアラビア語方言を処理する際の限界を是正すること。
• 推論効率性およびエネルギー消費量において、より大きなモデルを上回る効率的で高性能なアラビア語言語モデルの開発。
• 多様な方言と実世界の分野をカバーする標準的で包括的なアラビア語NLP評価ベンチマークの構築。
• AraBERTのような既存のアラビア語モデルが示す評価範囲の狭さとデータ多様性の不足を是正すること。
• 大規模でドメインに多様な事前学習データを活用することで、アラビア語NLPにおけるより良い転移学習を可能にすること。

提案手法

• SNS、ニュース、方言テキストを含む、大規模で多様なアラビア語コーパス上で、深層双方向トランスフォーマーを用いてARBERTおよびMARBERTを事前学習。
• アラビア語の語彙的豊かさと書記体系の多様性を踏まえた、マスクされた言語モデル化の目的関数に、次文予測を組み合わせた。
• MARBERT-v2は、強化されたアーキテクチャと、より大きな事前学習データ（特に大規模なSNSデータセット）を活用し、実世界の耐性を向上させた。
• ARLUEは、42の既存のアラビア語NLPデータセットを収集・標準化し、6つの整合性のあるタスククラスタに分類することで構築された。
• 個々のデータセットでの微調整とクラスタレベルの集約による評価を行い、モデル比較のための統一されたARLUEスコアを報告した。
• XLM-R Largeのようなより大きな多言語モデルを上回る性能を示す、ベースサイズのモデルを推論効率性を最適化するために設計した。

実験結果

リサーチクエスチョン

• RQ1 多様で大規模なデータで事前学習された単一言語のアラビア語言語モデルは、XLM-R Largeのようなより大きな多言語モデルを上回る性能を示せるか？
• RQ2 SNSや方言テキストで事前学習されたモデルは、低リソースおよび実世界のアラビア語NLPアプリケーションにどの程度一般化できるか？
• RQ3 標準化されたベンチマーク（ARLUE）は、公平で包括的かつ再現可能なアラビア語NLPモデルの評価をどの程度効果的に可能にするか？
• RQ4 現代標準アラビア語に特化したモデルと比較して、方言アラビア語で学習されたモデルは、複数の方言にわたる性能向上を実現できるか？
• RQ5 ベースサイズのモデルは、精度、効率性、エネルギー消費量の観点から、より大きなモデルと比較してどの程度優れているか？

主な発見

• ARBERTおよびMARBERTは、ARLUEベンチマークの48個の分類タスクのうち37個で最先端の結果を達成した。
• 最高のモデルはARLUEスコア77.40を達成し、XLM-R Largeを上回ったが、サイズは3.4倍も小さく、エネルギー効率も優れていた。
• MARBERTは、当時最先端とされていたAraBERTを、すべてのタスククラスタおよび個々のデータセットで上回った。
• モデルは、SNSなど非公式なテキストを含む低リソースなテキストへの一般化能力が強く、多様で実世界のデータで事前学習されたためである。
• ARLUEは、6つの異なるアラビア語NLPタスククラスタにわたる公平で体系的な評価を可能にする、強固で包括的なベンチマークであることが実証された。
• 大規模でドメインに多様な事前学習が、多様な言語的コミュニティを支援する効果的なアラビア語NLPモデルを構築する上で不可欠であることが確認された。