[論文レビュー] The Interplay of Variant, Size, and Task Type in Arabic Pre-trained Language Models

Go Inoue, Bashar Alhafni+3 more|arXiv (Cornell University)|Mar 11, 2021

Topic Modeling参考文献 46被引用数 139

ひとこと要約

本論文は、Arabic 言語モデルの制御された事前学習を三つの変種（MSA、方言アラビア語、古典アラビア語）と混合変種で実施し、データサイズの効果を分析し、微調整データへの変種の近接性が下流タスクにおける事前学習サイズより重要であることを示している。

ABSTRACT

In this paper, we explore the effects of language variants, data sizes, and fine-tuning task types in Arabic pre-trained language models. To do so, we build three pre-trained language models across three variants of Arabic: Modern Standard Arabic (MSA), dialectal Arabic, and classical Arabic, in addition to a fourth language model which is pre-trained on a mix of the three. We also examine the importance of pre-training data size by building additional models that are pre-trained on a scaled-down set of the MSA variant. We compare our different models to each other, as well as to eight publicly available models by fine-tuning them on five NLP tasks spanning 12 datasets. Our results suggest that the variant proximity of pre-training data to fine-tuning data is more important than the pre-training data size. We exploit this insight in defining an optimized system selection model for the studied tasks.

研究の動機と目的

• 複数のアラビア語NLPタスクにおける事前学習データサイズが微調整性能に与える影響を調査する。
• 三つのアラビア語変種（MSA、方言アラビア語、古典アラビア語）と混合変種が下-flowタスクに与える影響を検討する。
• CAMeLBERTモデルを8つの公開アラビア語PLMsと比較評価し、NER、POS、感情、方言識別、詩分類を含む12のサブタスクで評価する。
• タスク特性とデータの近接性に基づく事前学習モデルの選択に関する実践的な指針を提供する。

提案手法

• 異なるデータサイズと言語変種（MSA、DA、CA、Mix）で複数の CAMeLBERT モデルを事前学習する。
• 30k WordPiece ボキャブラリでトークン化し、全単語マスキングを 10x 重複係数で適用する。
• NER、POS、感情分析、方言識別、詩分類の5つのNLPタスクにかけて12のサブタスクでモデルをファインチューニングし、NER、POS、感情分析、方言識別、詩分類には標準のHugging Face トランスフォーマーを使用する。
• 12のサブタスクを横断して CAMeLBERT 系を8つの公開アラビア語PLMと比較し、OOVレートを変種近接の代理指標として分析する。
• タスクデータ特性に基づいてMSA、DA、CA、または Mixを選択する最適化されたシステム選択アプローチ（CAMeLBERT-Star）を提案する。

実験結果

リサーチクエスチョン

• RQ1 事前学習データサイズがアラビア語NLPタスクの下流微調整性能にどのように影響するか？
• RQ2 言語変種（MSA、方言アラビア語、古典アラビア語）とそれらの混合が下流タスクの性能にどのように影響するか？
• RQ3 事前学習データと微調整データの変種近接性は、事前学習データの単純なサイズよりも影響力があるか？
• RQ4 変種近接性を活用して最適化されたモデル選択戦略が全体的な性能を向上させるか？
• RQ5 CAMeLBERTモデルは既存のアラビア語PLMとさまざまなタスクとデータセットでどのように比較されるか？

主な発見

• 事前学習データサイズは、微調整性能に対して限定的で一貫性のない影響を与える。
• 変種近接性（MSA/DA/CA がタスクデータとどの程度整合するか）が、タスク全体の性能を大きく左右する。
• CAMeLBERT-MSA は単一変種モデルの中で全体的に最良になることが多く、CAMeLBERT-DA は方言タスクで卓越、CAMeLBERT-CA は詩分類で優れる。
• CAMeLBERT-Mix は一般に方言タスクを改善し、競争力のある結果を提供する。特定のサブタスクに対して多様な事前学習データの価値を強調。
• 最適化された CAMeLBERT-Star システムは変種近接性を活用して特定のタスクに適切なモデルを選択でき、CAMeLBERT-MSA、CAMeLBERT-DA、CAMeLBERT-CA、CAMeLBERT-Mix の相補的な強みを持つ。
• 8つの既存モデルと比較して、AraBERTv02 が平均的にはリードすることが多く、CAMeLBERT-Star と CAMeLBERT-Mix が強力な補完的性能を提供。