[論文レビュー] Temporal Analysis of Language through Neural Language Models

Yoon Kim, Yi-I Chiu+3 more|arXiv (Cornell University)|May 14, 2014

Language and cultural evolution参考文献 10被引用数 34

ひとこと要約

本稿では、Google Books Ngram コーパス（1900–2009）を用いて、語の意味的変化を検出し、その時期を特定するための、時系列に沿って訓練されたニューラル言語モデルを提案する。毎年、Skip-gram モデルを訓練し、コサイン類似度を用いて語ベクトルのシフトを追跡することで、'cell' や 'gay' のような語が、'cell' については1985–2009年、'gay' については1970年代に顕著な意味的変化を経験したことが特定された。

ABSTRACT

We provide a method for automatically detecting change in language across time through a chronologically trained neural language model. We train the model on the Google Books Ngram corpus to obtain word vector representations specific to each year, and identify words that have changed significantly from 1900 to 2009. The model identifies words such as "cell" and "gay" as having changed during that time period. The model simultaneously identifies the specific years during which such words underwent change.

研究の動機と目的

• 歴史的コーパスにおける言語の意味的変化を自動的に検出する手法を開発すること。
• 意味的変化の有無を特定するだけでなく、その変化が発生した具体的な時期を同定すること。
• 手作業的または文脈依存的な検出法に対するスケーラブルでデータ駆動型の代替手法を提供すること。
• 語ベクトルの軌跡を用いて、研究者が言語の進化のダイナミクスを時間的精度をもって研究できるようにすること。

提案手法

• Google Books Ngram コーパス（1900–2009）の毎年のコーパスに対して、Skip-gram ニューラル言語モデルを訓練する。
• 前年の語ベクトルを用いて、その後続年の語ベクトルを初期化することで、時系列的な連続性を確保する。
• 異なる年における同じ語の語ベクトル間のコサイン類似度を計算し、意味的ずれ（semantic drift）を測定する。
• ターゲット語とその近隣語との間のコサイン類似度の時系列的推移を追跡し、急激な変化が生じた時期を特定する。
• 全語について1900年の基準点との平均コサイン類似度をベースラインとして用い、ランダムなずれとは区別する。
• 語ベクトルの軌跡を可視化・分析することで、'cell' や 'gay' のような語が意味的にどのように変化したかを特定する。

実験結果

リサーチクエスチョン

• RQ1 語ベクトルの軌跡に基づくと、1900年から2009年の間に顕著な意味的変化を示す語はどれか？
• RQ2 語の意味が変化した具体的な時期を自動的に検出できるか？
• RQ3 同定された変化の時期と、既知の歴史的または文化的出来事との相関関係は何か？
• RQ4 'cell' や 'gay' のような語における意味的変化が、文書化された社会言語学的発展とどの程度一致するか？
• RQ5 ベースライン類似度指標を用いることで、ランダムなノイズやサンプリングのばらつきとは区別できるか？

主な発見

• モデルは 'cell' が顕著な意味的変化を経験したことを成功裏に同定した。特に、1985年から2009年にかけての変化が顕著で、これはスマートフォンの台頭と重複する。
• 語 'gay' は1970年代に意味が大きく変化しており、LGBTQ+権利運動の台頭と、語の再占有（reappropriation）と一致する。
• モデルは 'checked' が『制御する』という意味から『確認する』や『点検する』という意味に移行したことを検出しており、意味の多義性が時間経過とともに変化したことを示している。
• 語 'actually' は使用法が変化し、事実の真実性を示す意味から、現代の会話で見られる驚きや強調の表現へと移行した。
• 語 'cell' と 'gay' がそれぞれ変化の時期に差し掛かると、近隣語とのコサイン類似度が著しく低下しており、ベクトル空間内での意味的再構成が確認された。
• モデルのベースライン（全語の1900年基準点との平均類似度）は、'cell' や 'gay' における観察された変化がランダムな揺らぎをはるかに上回ることを示しており、その有意性が裏付けられた。