[論文レビュー] Is this word borrowed? An automatic approach to quantify the likeliness of borrowing in social media

Jasabanta Patro, Bidisha Samanta+4 more|arXiv (Cornell University)|Mar 15, 2017

Linguistics, Language Diversity, and Identity参考文献 23被引用数 3

ひとこと要約

本稿では、英語・ヒンディー語の混在したツイートにおけるユーザー単位の語の使用パターンに基づき、文脈ベースのクラスタリングと、UUR、UUR-adj、UUR-adj-2の3つの新しい指標を用いて、ソーシャルメディアにおける語の借用の可能性を自動で定量化する新規な計算フレームワークを提案する。この手法は、人間によるアノテート済みの正例とSpearman順位相関係数0.62を達成し、ベースライン（0.26）の2倍以上であり、若年層や低コードミキシングユーザーにおいても優れた性能を示しており、借用傾向の早期検出が可能であることを示している。

ABSTRACT

Code-mixing or code-switching are the effortless phenomena of natural switching between two or more languages in a single conversation. Use of a foreign word in a language; however, does not necessarily mean that the speaker is code-switching because often languages borrow lexical items from other languages. If a word is borrowed, it becomes a part of the lexicon of a language; whereas, during code-switching, the speaker is aware that the conversation involves foreign words or phrases. Identifying whether a foreign word used by a bilingual speaker is due to borrowing or code-switching is a fundamental importance to theories of multilingualism, and an essential prerequisite towards the development of language and speech technologies for multilingual communities. In this paper, we present a series of novel computational methods to identify the borrowed likeliness of a word, based on the social media signals. We first propose context based clustering method to sample a set of candidate words from the social media data.Next, we propose three novel and similar metrics based on the usage of these words by the users in different tweets; these metrics were used to score and rank the candidate words indicating their borrowed likeliness. We compare these rankings with a ground truth ranking constructed through a human judgment experiment. The Spearman's rank correlation between the two rankings (nearly 0.62 for all the three metric variants) is more than double the value (0.26) of the most competitive existing baseline reported in the literature. Some other striking observations are, (i) the correlation is higher for the ground truth data elicited from the younger participants (age less than 30) than that from the older participants, and (ii )those participants who use mixed-language for tweeting the least, provide the best signals of borrowing.

研究の動機と目的

• 外国語の語が借用されている可能性を定量化する自動手法を開発すること。
• 多言語使用者に特化した、非公式で大規模なソーシャルメディアデータから、借用の初期言語的兆候を同定すること。
• 特にコードミキシング行動が少ないユーザーからの使用パターンを活用することで、既存のベースラインを改善すること。
• 多様な年齢層から収集した人間によるアノテート済み正例データを用いて、手法の妥当性を検証すること。

提案手法

• 文脈ベースのクラスタリング手法を用い、英語・ヒンディー語の混在ツイートから57の候補語を抽出し、言語的関連性と多様性を確保した。
• ユーザー単位の語の頻度と分布に基づき、借用の可能性を推定する3つの新規指標（UUR、UUR-adj、UUR-adj-2）を提案した。
• 指標は、ユーザー間での使用の一様性を計算し、語の頻度とユーザーの活動度を補正することでノイズとバイアスを低減する。
• 58名のレビュアーを対象に人間評価スタディを実施し、57語の借用可能性に関する正例順位付けを年齢層別に層別化した。
• モデルの順位付けと人間による正例との間のSpearman順位相関を用い、ユーザーのコードミキシング行動に応じた追加分析も実施した。
• 高・中・低コードミキシングユーザーのグループに分けて評価し、信号の強度と耐性を評価した。

実験結果

リサーチクエスチョン

• RQ1 ソーシャルメディアデータは、コードスイッチングとは明確に異なる借用の早期信号を信頼的に提供できるか？
• RQ2 ソーシャルメディアにおける外国語の使用パターンは、人間の借用可能性判断とどの程度相関するか？
• RQ3 頻繁にコードスイッチングを行わないユーザーは、頻繁なスイッチャーと比較して、借用の同定により強い信号を提供するか？
• RQ4 提案手法は若年層においてより効果的であり、初期段階の借用傾向を反映しているか？
• RQ5 提案された指標は、既存のベースラインと比較して、借用可能性予測において定量的に優れているか？

主な発見

• 提案されたUUR指標は、人間による正例とSpearman順位相関係数0.62を達成し、ベースラインの0.26を大きく上回った。
• 若年層（30歳未満）では相関係数が0.62に達し、この手法が初期段階の借用傾向を効果的に捉えていることを示唆している。
• UUR指標は、コードミキシング行動が少ないユーザーからのデータを用いて算出すると、相関係数0.65を記録し、このようなユーザーが借用の純粋な信号を提供していることを示している。
• 精度と再現率の指標では、UURがベースラインを一貫して上回っており、特に「SB（まれに借用される）」および「LM（借用されると予想される）」の語のグループで顕著な改善が見られた。
• 若年層および高齢層の両グループにおいて、UURのマクロおよびマイクロの精度・再現率は、常にベースラインを上回った。
• 本手法は、多様な評価スキームおよび正例のバリエーションにおいて強く、耐性と一般化能力を示している。