[論文レビュー] Curras + Baladi: Towards a Levantine Corpus

Karim El Haff, Mustafa Jarrar+2 more|arXiv (Cornell University)|May 19, 2022

Natural Language Processing Techniques被引用数 7

ひとこと要約

本稿では、レバノン・レヴァンテ語の9.6Kトークンに形態素注釈を施したBaladiというコーパスを紹介し、より一貫性と互換性を高めるために、既存のパレスチナ Curras コーパスを改訂する。標準化されたSAMA語彙素と品詞タグを用い、両コーパスを統合して1つの相互運用可能なレヴァンテ語リソースにした。このリソースでは、相互評価者間一致性（カッパ）が87%、F1スコアが90.1%に達し、方言間で高度な自然言語処理タスクを実行可能となる。

ABSTRACT

The processing of the Arabic language is a complex field of research. This is due to many factors, including the complex and rich morphology of Arabic, its high degree of ambiguity, and the presence of several regional varieties that need to be processed while taking into account their unique characteristics. When its dialects are taken into account, this language pushes the limits of NLP to find solutions to problems posed by its inherent nature. It is a diglossic language; the standard language is used in formal settings and in education and is quite different from the vernacular languages spoken in the different regions and influenced by older languages that were historically spoken in those regions. This should encourage NLP specialists to create dialect-specific corpora such as the Palestinian morphologically annotated Curras corpus of Birzeit University. In this work, we present the Lebanese Corpus Baladi that consists of around 9.6K morphologically annotated tokens. Since Lebanese and Palestinian dialects are part of the same Levantine dialectal continuum, and thus highly mutually intelligible, our proposed corpus was constructed to be used to (1) enrich Curras and transform it into a more general Levantine corpus and (2) improve Curras by solving detected errors.

研究の動機と目的

• レバノンアラビア語を含むレヴァンテ語方言における、高品質で形態素注釈が施されたコーパスの不足に対処すること。
• 完全な注釈再編集を通じて、既存のパレスチナ Curras コーパスの正確性、正規化、一貫性を向上させること。
• LDCのSAMA語彙素と品詞タグセットに準拠することで、パレスチナ語とレバノン語の注釈間の互換性を確保すること。
• 共通の注釈ガイドラインと統合された解決表を用いて、南（パレスチナ）と北（レバノン）のレヴァンテ語方言間の言語的ギャップを埋めること。
• 自然言語処理研究を支援するため、公開可能で相互運用可能なリソースを提供し、アラビア語方言の形態解析や語義解析の研究を促進すること。

提案手法

• Baladiで9.6Kトークンを手動で注釈し、接頭辞、接尾辞、語幹、品詞タグ、MSA語彙素と方言語彙素、性別、数、態、人称、英語訳語を含む形態素特徴を記録した。
• LDCのSAMA語彙素とタグを標準注釈フレームワークとして採用し、既存のMSAリソースと一貫性を保った。
• すべてのトークンを再注釈することで、Currasを改訂し、正確性、正規化、品詞タグの統一、SAMA語彙素とのリンクを向上させた。
• 共通の「ソリューション」テーブルを作成し、Currasの独自な注釈パターンを保存することで、Baladiの注釈における再利用と一貫性を可能にした。
• 特に動詞に関して、性別、数、態などの特徴における不一致を修正するためのヒューリスティクスを適用した。
• Cohenのカッパ（78.5%）とF1スコア（90.1%）を用いた相互評価者間一致性の評価を通じて、注釈品質を検証した。

実験結果

リサーチクエスチョン

• RQ1 レバノン・レヴァンテ語という、これまでリソースが不足していた方言に対して、高品質な形態素注釈付きコーパスを構築することは可能か？
• RQ2 パレスチナ Curras コーパスは、どの程度、注釈の一貫性と現代の基準との互換性を向上させることができるか？
• RQ3 密接に似ているが異なる2つのレヴァンテ語方言（パレスチナ語とレバノン語）を、共通の注釈ガイドラインを用いて1つの相互運用可能なコーパスに統合することは可能か？
• RQ4 標準化されたSAMAタグと語彙素を用いた手動形態素注釈において、方言間でどの程度の一致が達成できるか？
• RQ5 関係語と接尾語がパレスチナ語とレバノン語の間でどの程度異なるか。これらの差異は、共通のコーパスに体系的に記録可能か？

主な発見

• Baladiコーパスには、Cohenのカッパスコアを用いた87%の相互評価者間一致を示す9,600個の形態素注釈付きトークンが含まれる。
• 改訂済みの Curras コーパスには、注釈の一貫性、正規化、統一された品詞タグが向上した55,900個のトークンが含まれる。
• Currasにおける固有の方言語彙素の数は8,510に増加し、そのうち1,012個はMSA語彙素に対応しない。
• 共通の「ソリューション」テーブルの作成により、両コーパス間で注釈の再利用が一貫して可能となり、重複を減らし、互換性を向上させた。
• 統合されたコーパスは、約65,200トークンの統一されたレヴァンテ語リソースを形成し、パレスチナ語とレバノン語の両方の方言を、一貫した注釈基準でカバーしている。
• コーパスはウェブポータルを通じて公開されており、今後のアラビア語方言の自然言語処理研究、特に形態解析や語義解析の支援に貢献している。