[論文レビュー] Word Level Language Identification in English Telugu Code Mixed Data

Sunil Gundapu, Radhika Mamidi|arXiv (Cornell University)|Oct 9, 2020

Natural Language Processing Techniques参考文献 16被引用数 14

ひとこと要約

本論文は、語彙的形状、文脈、品詞タグ、文字n-gramなどの言語的特徴を活用して、英語・テルグ語のコードミックステキストにおける語レベルの言語識別に条件付きランダムフィールド（CRF）ベースのモデルを提案する。CRFモデルはF1スコア0.91を達成し、ナイーブベイズ、ランダムフォレスト、HMMベースラインを上回り、インド諸言語における低リソースコードミックスNLP分野において顕著な貢献を果たしている。

ABSTRACT

In a multilingual or sociolingual configuration Intra-sentential Code Switching (ICS) or Code Mixing (CM) is frequently observed nowadays. In the world, most of the people know more than one language. CM usage is especially apparent in social media platforms. Moreover, ICS is particularly significant in the context of technology, health, and law where conveying the upcoming developments are difficult in one's native language. In applications like dialog systems, machine translation, semantic parsing, shallow parsing, etc. CM and Code Switching pose serious challenges. To do any further advancement in code-mixed data, the necessary step is Language Identification. In this paper, we present a study of various models - Nave Bayes Classifier, Random Forest Classifier, Conditional Random Field (CRF), and Hidden Markov Model (HMM) for Language Identification in English - Telugu Code Mixed Data. Considering the paucity of resources in code mixed languages, we proposed the CRF model and HMM model for word level language identification. Our best performing system is CRF-based with an f1-score of 0.91.

研究の動機と目的

• 低リソースの英語・テルグ語コードミックステキストにおける語レベル言語識別という課題に取り組むこと、特にソーシャルメディアや多言語コミュニケーションの文脈において。
• 語彙的混合、表記の変種、非公式な書き方の特徴を示すコードミックスデータに対応できる堅牢な言語識別システムの開発。
• 個々の語の出典言語を特定する有効性を評価・比較するため、ナイーブベイズ、ランダムフォレスト、HMM、CRFといった複数の系列ラベリングモデルの検証。
• 語彙的、表記的、文脈的手がかりを統合した特徴工学戦略を検討し、言語タグ予測の精度向上を図ること。
• コードミックスインド諸言語における下流NLPタスクのための高精度でオープンソースのソリューションを提供すること。

提案手法

• モデルは、現在の語、その品詞タグ、周辺語およびその品詞タグ、接頭辞/接尾辞、語長、数字/大文字/特殊文字の有無、および前方/後方の文字n-gram（ユニグラム、ビグラム、トライグラム）を含む特徴セットを用いて学習される。
• 局所的文脈を捉えるために1次マルコフ仮定が用いられ、予測精度向上のため「直前の語の言語タグ」と「現在の語の言語ラベル」などの特徴が活用される。
• 語彙的コードミックスに対応するための特徴テンプレートが設計されており、例えば「classlo」（英語＋テルグ語の複数形語尾）や「supere」（英語語幹＋テルグ語の屈折語尾）のような屈折語の例を含む。
• URL、メールアドレス、絵文字などの非語彙的トークンに対しては、デフォルトで「UNIV」（ユニバーサル）タグを適用することで、システムの耐障害性を維持する。
• 実験は、23,635語の学習語と5,868語のテスト語を含むコーパスを用い、3分割交差検証の設定で実施され、scikit-learn、NLTK、python-crfsuiteを用いてモデルが実装された。
• ベースラインモデルにはナイーブベイズ、ランダムフォレスト、HMMが含まれ、F1スコア、適合率、再現率を用いて性能が比較された。

実験結果

リサーチクエスチョン

• RQ1 英語・テルグ語のコードミックステキストにおける語レベル言語識別に最適な系列ラベリングモデルは何か？
• RQ2 文字n-gram、品詞タグ、語彙的形状といった言語的特徴が、言語識別精度にどのように寄与するか？
• RQ3 語彙的混合や非公式な綴りの変種は、コードミックスデータにおける言語識別をどの程度妨げるか？
• RQ4 CRFベースのモデルは、ナイーブベイズやランダムフォレストといった従来の分類器を、低リソースのコードミックス環境で上回ることができるか？
• RQ5 文脈的特徴（例：直前の語の言語タグ）の導入は、予測精度をどの程度向上させるか？

主な発見

• CRFベースのモデルはF1スコア0.91を達成し、91.2897%の正確度を示し、すべてのベースラインモデルを顕著に上回った。
• テルグ語タグは適合率0.84、再現率0.81、F1スコア0.87を達成し、母語としての性能が強く裏付けられた。
• 英語語彙の識別はF1スコア0.88を達成し、適合率0.88、再現率0.87を示し、英語語彙の信頼性の高い検出を示した。
• 名前付きエンティティ（NE）タグはF1スコア0.95を記録し、固有名詞や固有名詞の処理において優れた性能を示した。
• URL や絵文字などの非語彙的トークンに使用されるユニバーサル（UNIV）タグはF1スコア0.54にとどまり、こうしたトークンの処理改善の必要性が示された。
• HMMモデルは85.15%の正確度を達成し、CRFより低かったが、ナイーブベイズ（77.37%）やランダムフォレスト（77.34%）よりは高かった。これは系列モデリングの重要性を示している。