[論文レビュー] Freshman or Fresher? Quantifying the Geographic Variation of Internet Language

Vivek Kulkarni, Bryan Perozzi+1 more|arXiv (Cornell University)|Oct 22, 2015

Language and cultural evolution参考文献 39被引用数 11

ひとこと要約

この論文は、地域固有の単語埋め込みと帰無仮説モデルを用いて、オンライン言語における地理的に有意な意味的・構文的・語彙的変異を検出・定量する新しい統計的手法であるgeodistを紹介する。この手法により、グローバル化の影響でイギリス英語とアメリカ英語の意味的類似度が時間経過とともに高まっていることが明らかになった。

ABSTRACT

We present a new computational technique to detect and analyze statistically significant geographic variation in language. Our meta-analysis approach captures statistical properties of word usage across geographical regions and uses statistical methods to identify significant changes specific to regions. While previous approaches have primarily focused on lexical variation between regions, our method identifies words that demonstrate semantic and syntactic variation as well. We extend recently developed techniques for neural language models to learn word representations which capture differing semantics across geographical regions. In order to quantify this variation and ensure robust detection of true regional differences, we formulate a null model to determine whether observed changes are statistically significant. Our method is the first such approach to explicitly account for random variation due to chance while detecting regional variation in word meaning. To validate our model, we study and analyze two different massive online data sets: millions of tweets from Twitter spanning not only four different countries but also fifty states, as well as millions of phrases contained in the Google Book Ngrams. Our analysis reveals interesting facets of language change at multiple scales of geographic resolution -- from neighboring states to distant continents. Finally, using our model, we propose a measure of semantic distance between languages. Our analysis of British and American English over a period of 100 years reveals that semantic variation between these dialects is shrinking.

研究の動機と目的

• 語彙的差異を超えて、統計的に有意な地理的言語使用の変異を検出・定量すること。
• 既存の手法の欠落を補うために、地域間での意味的および構文的変異を捉えること。
• 帰無仮説モデルを用いて、ランダムな変動とは異なる真正の地域的言語的シフトを区別する強固な手法を開発すること。
• 米国の50州および複数の国をカバーする大規模かつ多スケールのデータセット（ツイートおよびGoogle Ngrams）を用いて、この手法を評価すること。
• 時間経過に伴う言語方言間の収束・乖離を分析するための、新たな非教師ありの意味的距離測定法を提案すること。

提案手法

• 地域固有の単語埋め込みを学習するようにニューラル言語モデルを拡張し、地理的地域間での意味的差を捉える。
• 観察された地域的言語使用の差が有意かどうかを評価するために、統計的帰無仮説モデルを適用する。
• 地域間の語の使用に関する統計的性質を集約し、顕著なシフトを検出するためにメタアナリシス的手法を用いる。
• 地理タグ付きテキスト（例：ツイート）および書籍のn-gramを用いて訓練された単語埋め込みを活用し、スケールの大きな地域的変異をモデル化する。
• 異なる地域における単語埋め込みの類似度に基づいて、方言間の意味的距離を測る新しい測定法を導入する。
• 米国50州および4か国の英語圏を含む、複数のデータセットおよび地理的解像度で手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 語彙的差異を超えて、地理的地域間で統計的に有意な意味的・構文的変異を示す語は何か？
• RQ2 大規模なオンラインテキストにおいて、ランダムな変動とは区別できる真正の地域的言語的シフトはどのように特定できるか？
• RQ3 イギリス英語とアメリカ英語の方言が、時間経過とともにどの程度意味的に収束しているか？
• RQ4 ソーシャルメディアや出版物における語の使用の地域的変異は、どのようにして生じて広がるか？
• RQ5 非教師ありのデータ駆動型アプローチで、言語方言間の意味的距離を定量的に測定できるか？

主な発見

• 『test』や『schedule』といった語において、意味的変異が明確に検出された。インドでは『test』がクリケット試合を指すが、他の地域では試験を意味する。イギリスでは『schedule』が文書の付録を指すが、アメリカではそうではない。
• 同じ手法を用いて、隣接する米国州から遠く離れた大陸まで、複数スケールで語の使用における地理的変異を検出可能である。
• 過去100年間で、イギリス英語とアメリカ英語の意味的距離は減少し続け、収束が進んでいることが示された。
• 帰無仮説モデルにより、ランダムサンプリングに起因する誤った地域的差異を効果的にフィルタリングし、検出精度が著しく向上した。
• この手法は、ソーシャルメディアにおけるコードミキシングや地域固有の使用法を同定でき、多様な言語的現象に耐性があることが示された。
• 提案された意味的距離測定法により、文化的・技術的グローバル化が、特に英語において方言の収束を促進していることが明らかになった。