[論文レビュー] Borrowing or Codeswitching? Annotating for Finer-Grained Distinctions in Language Mixing

Elena Alvarez Mellado, Constantine Lignos|arXiv (Cornell University)|Jun 10, 2022

Linguistics, Language Diversity, and Identity被引用数 5

ひとこと要約

本稿では、スペイン語と英語のコードスイッチィングと語彙的借用を明確に区別するための、トークンレベルでアノテートされた新しいツイッターコーパスを紹介する。明確なガイドラインに従い、両者の現象を区別する。mBERT や BETO といったトランスフォーマー基盤モデルを用いて、F1 スコアが 96.6 を超える結果を達成し、微細なアノテーションがソーシャルメディアの言語混合現象のモデリングを向上させることを示している。

ABSTRACT

We present a new corpus of Twitter data annotated for codeswitching and borrowing between Spanish and English. The corpus contains 9,500 tweets annotated at the token level with codeswitches, borrowings, and named entities. This corpus differs from prior corpora of codeswitching in that we attempt to clearly define and annotate the boundary between codeswitching and borrowing and do not treat common "internet-speak" ('lol', etc.) as codeswitching when used in an otherwise monolingual context. The result is a corpus that enables the study and modeling of Spanish-English borrowing and codeswitching on Twitter in one dataset. We present baseline scores for modeling the labels of this corpus using Transformer-based language models. The annotation itself is released with a CC BY 4.0 license, while the text it applies to is distributed in compliance with the Twitter terms of service.

研究の動機と目的

• 既存のコードスイッチィングコーパスにおいて、コードスイッチィングと借用の明確な区別がなされていないという問題に対処すること。
• 語彙的借用と真のコードスイッチィングを明示的にアノテートするデータセットを構築し、インターネットスラングをコードスイッチィングとして誤分類するのを避けること。
• 多言語のソーシャルメディアテキストにおけるより微細な言語混合現象のモデルトレーニングおよび評価に役立てるリソースを提供すること。
• 言語学的基準に基づき、コードスイッチィングと借用の境界を明確にするアノテーションガイドラインを確立すること。
• 構文的・語形的コードスイッチィングと、音声的および語形的に適応された借用を分離することで、言語混合のより正確なモデリングを可能にすること。

提案手法

• コードスイッチィング、借用、固有語、標点、その他の非言語的トークンを含む、9,500件のツイッター投稿をトークンレベルでアノテートした。
• コードスイッチィングを、両言語の文法に準拠した文内混合と定義し、借用を受容言語の音声体系および語形体系に統合された語彙的項目と定義した。
• 一般的なインターネットスラング（例：'lol'）をコードスイッチィングのアノテーションから除外し、それらを確立された借用語またはソーシャルメディア用語として扱った。
• ベースラインモデルの評価のため、標準化された 80/10/10 のトレーニング・開発・テスト分割を採用した。
• mBERT、BETO、RoBERTa-BNE、RoBERTa-Twitter の 4 つのトランスフォーマー基盤モデルを評価し、Hugging Face Transformers ライブラリを用い、デフォルトのハイパーパrameterを適用した。
• モデルの性能を評価するため、トークンレベル分類タスクにマイクロ平均の適合率、再現率、F1 スコアを適用した。

実験結果

リサーチクエスチョン

• RQ1 明確なアノテーションガイドラインを用いて、多言語のソーシャルメディアテキストにおけるコードスイッチィングと借用をどのように区別できるか？
• RQ2 既存のコードスイッチィングコーパスは、特にインターネットスラングの文脈において、借用と真のコードスイッチィングをどの程度混同しているか？
• RQ3 異なる事前学習済みトランスフォーマーモデルは、コードスイッチィングと借用を区別する微細なタスクにおいて、どの程度の性能を示すか？
• RQ4 モデルの性能は、特にコードスイッチィングにおける方言的および社会言語的変異を捉える能力に関して、学習データの多様性と相関しているか？
• RQ5 モノリンガルのソーシャルメディアデータでトレーニングされたモデル（例：RoBERTa-Twitter）は、多言語または言語特化型のモノリンガルモデルを上回る性能を示すか？

主な発見

• mBERT と BETO モデルは、それぞれ F1 スコア 96.65 と 96.64 を達成し、微細なコードスイッチィングおよび借用分類タスクにおける優れた性能を示している。
• RoBERTa-BNE モデルは、より大きなサイズ（135B バイト）であるにもかかわらず、BETO や mBERT よりも性能が低く、このタスクにおいては学習データの多様性がスケールよりも重要である可能性を示唆している。
• ベースラインの F1 スコア（約 96.6）は、LinCE ベンチマークで報告された値（mBERT で F1 98.53）よりもわずかに低いが、借用とコードスイッチィングの区別という追加の複雑さが要因と考えられる。
• インターネットスラング（例：'lol'）をコードスイッチィングのラベルから除外し、それらを確立された借用語として扱ったことで、より言語学的に正確なデータセットが得られ、真の二言語現象をよりよく反映している。
• アノテーション方式は借用とコードスイッチィングを効果的に分離しており、モデルの性能と言語学理論との整合性から、データに体系的な誤分類の兆候は確認されなかった。
• コーパスは CC BY 4.0 ライセンスで公開されており、NLP研究における再利用が可能である。また、生データはツイッターの利用規約に準拠している。