[論文レビュー] From FusHa to Folk: Exploring Cross-Lingual Transfer in Arabic Language Models

Abdulmuizz Khalak, Abderrahmane Issam+1 more|arXiv (Cornell University)|Feb 10, 2026

Natural Language Processing Techniques被引用数 0

ひとこと要約

要約: 本論文は現代標準アラビア語（MSA）と方言間の跨言語転送を probes と Representational Similarity Analysis（RSA）を Centered Kernel Alignment（CKA）とともに検討し、転送は可能だが方言ごとに不均一で、地理的近接性と事前学習データ量の影響を受けることを示す。

ABSTRACT

Arabic Language Models (LMs) are pretrained predominately on Modern Standard Arabic (MSA) and are expected to transfer to its dialects. While MSA as the standard written variety is commonly used in formal settings, people speak and write online in various dialects that are spread across the Arab region. This poses limitations for Arabic LMs, since its dialects vary in their similarity to MSA. In this work we study cross-lingual transfer of Arabic models using probing on 3 Natural Language Processing (NLP) Tasks, and representational similarity. Our results indicate that transfer is possible but disproportionate across dialects, which we find to be partially explained by their geographic proximity. Furthermore, we find evidence for negative interference in models trained to support all Arabic dialects. This questions their degree of similarity, and raises concerns for cross-lingual transfer in Arabic models.

研究の動機と目的

• アラビア語方言とMSAの二重言語性と方言多様性に基づく cross-lingual 転送の研究を動機付ける。
• probing を用いて3つのNLPタスク（SA、NER、POS）で転送を評価し、CKA による表現類似性を測定する。
• MSA中心/混合方言/方言特異モデルが方言変種間でどのように性能を出すかを評価する。
• 地理的近接性と事前学習データ量を含む転送差異の推進要因を調査する。

提案手法

• 凍結層ごとの埋め込みの probing と線形分類器を組み合わせて、符号化された言語特徴を評価する。
• Representational Similarity Analysis（CKA）を適用して、MSAと方言モデル間の層ごとの表現類似性を定量化する。
• 並列MADARデータを用いて、MSAおよび方言エンコーダ間の複数のシナリオでCKAを計算する。
• MSAアンカーとしてエジブトを用いる地理的近接性の代理指標を導入し、転送を方言連続体と関連づける。
• POS、NER、SA のタスクを、方言データセットとMSAデータセットの両方で評価する。

Figure 1: Architecture of the probing classifier for the example sentence “The boy is eating the apple now.” Sentence representations pass through N layers, and each layer is probed using the classifier in Eq. 1 .

実験結果

リサーチクエスチョン

• RQ1 MSAで訓練された表現は、POS、NER、SAタスクを横断して方言アラビア語へどれだけ転用可能か？
• RQ2 方言特異モデルは自分の母方言で一般的なMSAベースモデルより優れているか、そしてどのデータ条件下でそうなるか？
• RQ3 MSAと方言モデル間の表現類似性（CKA）は転送の有効性とどう関係するか？
• RQ4 MSAへの地理的近接性は転送性と表現類似性を予測するか？

主な発見

• MSA中心のモデルは一般に方言へ良好に転送されることが多く、特定のタスクで方言特異モデルを上回ることもある。
• 方言特異モデルは、 substantial な方言特異的事前学習データを背景にする場合、一般モデルを上回ることが多い。
• 転送と表現類似性は地理的近接性に沿った方言連続体を示すが、データ量がこの効果を調整する。
• 多方言モデルでは負の干渉が起こる場合があり、特に高資源方言で広域多方言事前学習の限界を示す。
• CKAの類似性は機能的転送を保証せず、構造的類似性とタスク性能の間にギャップがある。

Figure 2: Architecture of CKA for representation similarity. MADAR parallel sentences are encoded by MSA and DA encoders through N layers, and the resulting representations are compared using linear CKA (Eq. 2 ).