[論文レビュー] Morphosyntactic Tagging with Pre-trained Language Models for Arabic and its Dialects

Go Inoue, Salam Khalifa+1 more|arXiv (Cornell University)|Oct 13, 2021

Natural Language Processing Techniques被引用数 7

ひとこと要約

本稿では、現代標準アラビア語および3つの方言（グレート・アラビア語、エジプト語、レバノン語）のための最先端の形態句法学的タギングシステムを提案する。微調整された事前学習済み言語モデルを用い、因子化タギング、外部形態解析器、および異方言間微調整が性能向上に顕著に寄与することを示した。これにより、先行研究比でそれぞれMSAで2.6%、GLFで2.8%、EGYで1.6%、LEVで8.3%の絶対的向上を達成した。

ABSTRACT

We present state-of-the-art results on morphosyntactic tagging across different varieties of Arabic using fine-tuned pre-trained transformer language models. Our models consistently outperform existing systems in Modern Standard Arabic and all the Arabic dialects we study, achieving 2.6% absolute improvement over the previous state-of-the-art in Modern Standard Arabic, 2.8% in Gulf, 1.6% in Egyptian, and 8.3% in Levantine. We explore different training setups for fine-tuning pre-trained transformer language models, including training data size, the use of external linguistic resources, and the use of annotated data from other dialects in a low-resource scenario. Our results show that strategic fine-tuning using datasets from other high-resource dialects is beneficial for a low-resource dialect. Additionally, we show that high-quality morphological analyzers as external linguistic resources are beneficial especially in low-resource settings.

研究の動機と目的

• 語彙的に豊富で、表記が曖昧なアラビア語およびその方言における形態句法学的タギングの課題に対処すること。
• データサイズ、タグセット設計、および外部言語資源がモデル性能に与える影響を調査すること。
• よりリソースが豊富なバージョンを活用して、低リソースな方言タギングを改善する異方言間転移学習を検討すること。
• 特に低リソース状況下においても、すべてのアラビア語変種のタギング精度を向上させること。
• 今後の研究およびアラビア語NLPアプリケーションを支援するため、公開可能なシステムを提供すること。

提案手法

• MSAおよび3つの方言の形態句法学的タギングタスクに、多言語事前学習済み言語モデルであるCAMeLBERTを微調整する。
• すべての形態的特徴を同時に予測する因子化タギングと、各特徴を個別に予測する非因子化タギングを比較する。
• 低リソース状況での性能向上を図るため、高品質な形態解析器を外部言語資源として統合する。
• 異方言微調整を適用する：まず、リソースが豊富な方言（例：MSA、GLF、EGY）で事前学習し、その後、リソースが少ない方言（例：LEV）で微調整する。
• 方言データにおける一貫性のある表記のため、方言アラビア語の表記規範（CODA）を用いる。利用可能な場合は生テキストをそのまま使用する。
• 交差エントロピー損失を用いてエンドツーエンドでモデルを学習し、標準的なNLP最適化手法と開発セットにおける早期停止を適用する。

実験結果

リサーチクエスチョン

• RQ1 微調整データのサイズが形態句法学的タギング性能に与える影響は何か？
• RQ2 複雑な形態句法学的特徴をモデル化する際に、因子化対比非因子化タグセット方式のどちらがより効果的か？
• RQ3 低リソース状況において、外部形態解析器を用いることで得られる追加的価値は何か？
• RQ4 よりリソースが豊富な方言のデータを用いることで、低リソースな方言の性能向上が達成できるか？
• RQ5 MSAと方言間で誤りパターンはどのように異なるか？また、どの特徴が予測誤りを引き起こしやすいか？

主な発見

• 因子化タギングアプローチは、低リソース状況下で非因子化タギングを上回るが、訓練データが増えるにつれて差は縮まる。
• 外部形態解析器の導入により、特にリソースが少ない状況（例：レバノン語）で性能が顕著に向上する。
• 異方言微調整（よりリソースが豊富な方言で事前学習し、その後リソースが少ない方言に適応）は、一貫した性能向上をもたらし、特にレバノン語において顕著である。
• 提案されたシステムは最先端の性能を達成し、それぞれMSAで2.6%、グレート・アラビア語で2.8%、エジプト語で1.6%、レバノン語で8.3%の絶対的精度向上を達成した。
• 誤り分析の結果、MSAでは格助詞（case）が誤りの主な要因であることが判明した。一方、方言では品詞（POS）誤分類が支配的であり、特に名詞同士の誤分類（例：EGYで67.3%）が顕著である。
• 接尾語特徴（enc0）は、方言では平均で約17%の誤り率を示すのに対し、MSAでは約2%とはるかに低く、これは方言においてラベル分布がより均等であることが要因と考えられる。