[論文レビュー] A Survey of Large Language Models for Arabic Language and its Dialects

Malak Mashaabi, Shahad Al-Khalifa+1 more|arXiv (Cornell University)|Oct 26, 2024

Natural Language Processing Techniques被引用数 5

ひとこと要約

アラビア語大規模言語モデルの包括的な調査で、アーキテクチャ、データセット、タスク性能、オープン性、今後の研究方向をクラシックアラビア語、標準現代アラビア語、方言アラビア語について。

ABSTRACT

This survey offers a comprehensive overview of Large Language Models (LLMs) designed for Arabic language and its dialects. It covers key architectures, including encoder-only, decoder-only, and encoder-decoder models, along with the datasets used for pre-training, spanning Classical Arabic, Modern Standard Arabic, and Dialectal Arabic. The study also explores monolingual, bilingual, and multilingual LLMs, analyzing their architectures and performance across downstream tasks, such as sentiment analysis, named entity recognition, and question answering. Furthermore, it assesses the openness of Arabic LLMs based on factors, such as source code availability, training data, model weights, and documentation. The survey highlights the need for more diverse dialectal datasets and attributes the importance of openness for research reproducibility and transparency. It concludes by identifying key challenges and opportunities for future research and stressing the need for more inclusive and representative models.

研究の動機と目的

• アラビア語のLLMに用いられるアーキテクチャ（エンコーダー専用、デコーダー専用、エンコーダー-デコーダー）を調査する。
• クラシカルアラビア語、現代標準アラビア語、方言を横断する事前学習データを要約する。
• 下流タスクにおける単言語、二言語、多言語のアラビア語LLMを比較する。
• オープン性要因（コード、データ、重み、ドキュメント）と再現性を評価する。
• 包摂的なアラビ語NLPモデルのギャップと将来の機会を強調する。

提案手法

• 既存のアラビア語LMMとそのアーキテクチャファミリーの文献調査。
• アラビア語品種（クラシカル、MSA、方言）別の事前学習コーパスの分類。
• ソースコード、データ、重み、ドキュメントを通じたモデルのオープン性の評価。
• 感情分析、NER、QAなどの下流タスクにおける性能の総合的な分析。

実験結果

リサーチクエスチョン

• RQ1 アラビア語LLM開発を支配するアーキテクチャは何で、能力はどう異なるか？
• RQ2 アラビア語LLMの事前学習に使用されるデータセットとアラビア語の品種は何か？
• RQ3 単言語・二言語・多言語のアラビア語LLMは共通の下流タスクでどのように性能を示すか？
• RQ4 アラビア語LLMはどの程度オープンで再現可能か、オープン性が研究の進展にどのように影響するか？
• RQ5 今後のアラビア語LLM研究の主要な課題と機会は何か？

主な発見

• アラビア語LLM研究はエンコーダー専用、デコーダー専用、エンコーダー-デコーダーのアーキテクチャにまたがっている。
• 事前学習データはクラシカルアラビア語、現代標準アラビア語、方言アラビア語の品種を含む。
• 感情分析、NER、質問応答などのタスクで性能は異なり、多言語モデルはより広い範囲をカバーしている。
• オープン性要因（ソースコード、トレーニングデータ、重み、ドキュメント）は不均一で、再現性と透明性に影響を与える。
• より多様な方言データセットと、包摂的で代表性のあるモデルが必要で、アラビ語NLPを前進させる。