[論文レビュー] All that is English may be Hindi: Enhancing language identification through automatic ranking of likeliness of word borrowing in social media

Jasabanta Patro, Bidisha Samanta+5 more|arXiv (Cornell University)|Jul 25, 2017

Linguistics, Language Diversity, and Identity参考文献 36被引用数 19

ひとこと要約

本稿では、Spearman相関係数0.62を達成するという、先行研究のベースラインの2倍以上の性能を示す、SNSの信号を用いて英語語彙がヒンディー語に借用される可能性を予測するための新しい計算フレームワークを提案する。この手法は、Twitterからのユーザー単位の借用信号を活用しており、88％のアノテーターが、英語からヒンディー語への高確率の借用語の再タグ付けを推奨した。これは、多言語の言語識別システムの改善に大きな可能性を示している。

ABSTRACT

In this paper, we present a set of computational methods to identify the likeliness of a word being borrowed, based on the signals from social media. In terms of Spearman correlation coefficient values, our methods perform more than two times better (nearly 0.62) in predicting the borrowing likeliness compared to the best performing baseline (nearly 0.26) reported in literature. Based on this likeliness estimate we asked annotators to re-annotate the language tags of foreign words in predominantly native contexts. In 88 percent of cases the annotators felt that the foreign language tag should be replaced by native language tag, thus indicating a huge scope for improvement of automatic language identification systems.

研究の動機と目的

• SNSの信号に基づいて、英語語彙がヒンディー語に借用される可能性を予測する計算手法を開発すること。
• 公式の辞書登録よりも前段階の借用を検出することで、多言語SNSにおける自動言語識別を改善すること。
• 人間のアノテーターが、借用の可能性が高い場合に、外国語の語を母語としての言語に再タグ付けすることを好むかどうかを評価すること。
• 言語混合頻度が低いユーザーが、借用検出においてより強い信号を提供するかどうかを調査すること。

提案手法

• 著者らは、ヒンディー語ツイート文脈におけるユーザー単位の語使用パターンに基づき、3つの新しい指標（UUR（ユーザー単位使用比）、UUR-Young、UUR-Elder）を定義する。
• UURは、特定の外国語がヒンディー語文脈で使用された回数と、そのユーザー全体での使用回数の比を、ユーザー頻度で正規化したものである。
• 本手法は、ヒンディー語・英語のコードミックス済みツイートを含む大規模なTwitterデータセットを用いて、各語の借用可能性スコアを計算する。
• 基準となる真値は、多様な文化的背景を持つ58名の人のジャッジによるアンケートを通じて、候補語の借用可能性を評価することで確立される。
• モデルの予測は、人間がアノテートした真値とのSpearman順位相関を用いて検証される。
• 再アノテーション実験では、特定のツイートを専門家アノテーターに提示し、英語タグをヒンディー語タグに切り替えるかどうかを評価する。

実験結果

リサーチクエスチョン

• RQ1 公式の辞書登録よりも前段階で、SNSの信号が英語語彙がヒンディー語に借用される可能性を信頼性高く予測できるか？
• RQ2 言語混合頻度が低いユーザーは、混合頻度が高いユーザーと比較して、借用検出においてより強い信号を提供するか？
• RQ3 計算指標の相関度が、人間の借用可能性判断とどの程度一致するか？
• RQ4 専門家アノテーターは、ヒンディー語が主な文脈である状況で、借用された英語語彙をヒンディー語に再タグ付けすることにどの程度合意するか？
• RQ5 借用可能性の予測は、自動言語識別システムの性能向上に寄与できるか？

主な発見

• 提案されたUUR指標は、人間がアノテートした借用可能性とSpearman順位相関係数0.62を達成し、最高のベースライン（0.26）の2倍以上も優れている。
• 言語混合頻度が最も低いユーザーにおいて相関が最大（0.65）に達し、低混合ユーザーが借用検出に最も信頼できる信号を提供していることが示された。
• 高確率で借用される可能性がある語（TOPリスト）については、88％のアノテーターが英語からヒンディー語への再タグ付けを推奨しており、高いアノテーター間一貫性（Hall文脈におけるFleiss’ κ = 0.84）を示した。
• 若年層ユーザーの判断は、モデルの予測と特に一致が良く、初期段階の借用信号に感受性が高いことが示された。
• モデルの性能は、ユーザーのカテゴリにかかわらず安定しており、低混合ユーザーのグループで最高の相関（0.65）が観察された。
• 結果から、現在の言語識別システムは、多くの借用語を外国語として誤分類している可能性があり、これを是正することで多言語NLPパイプラインの性能が著しく向上する可能性がある。