[論文レビュー] Measuring, Predicting and Visualizing Short-Term Change in Word Representation and Usage in VKontakte Social Network

Ian Stewart, Dustin Arendt+2 more|arXiv (Cornell University)|Mar 21, 2017

Complex Network Analysis Techniques被引用数 13

ひとこと要約

本稿では、2014–2015年のロシア＝ウクライナ危機期にVKontakteの投稿から得た時刻に依存する単語埋め込みを用いて、単語表現における短期的意味的シフトを測定・予測・可視化する手法を提案する。表現シフト（意味の変化）とコンセプトドリフト（頻度の変化）を区別することで、過去の意味的および頻度的ダイナミクスを用いて、数週間先まで短期的意味的シフトを正確に予測できることを示し、リアルタイムでの危機モニタリングおよび言語分析に強力なツールを提供する。

ABSTRACT

Language in social media is extremely dynamic: new words emerge, trend and disappear, while the meaning of existing words can fluctuate over time. Such dynamics are especially notable during a period of crisis. This work addresses several important tasks of measuring, visualizing and predicting short term text representation shift, i.e. the change in a word's contextual semantics, and contrasting such shift with surface level word dynamics, or concept drift, observed in social media streams. Unlike previous approaches on learning word representations from text, we study the relationship between short-term concept drift and representation shift on a large social media corpus - VKontakte posts in Russian collected during the Russia-Ukraine crisis in 2014-2015. Our novel contributions include quantitative and qualitative approaches to (1) measure short-term representation shift and contrast it with surface level concept drift; (2) build predictive models to forecast short-term shifts in meaning from previous meaning as well as from concept drift; and (3) visualize short-term representation shift for example keywords to demonstrate the practical use of our approach to discover and track meaning of newly emerging terms in social media. We show that short-term representation shift can be accurately predicted up to several weeks in advance. Our unique approach to modeling and visualizing word representation shifts in social media can be used to explore and characterize specific aspects of the streaming corpus during crisis events and potentially improve other downstream classification tasks including real-time event detection.

研究の動機と目的

• ソーシャルメディア言語における短期的表現シフト（意味の変化）と表面的コンセプトドリフト（頻度の変化）を区別し、定量的に測定すること。
• 過去の表現および頻度的ダイナミクスを用いて、将来の意味的シフトを予測する予測モデルを開発すること。
• 危機的出来事の進行中に、語の意味の進化をリアルタイムで探索・追跡できる新しい可視化技術を構築すること。
• 語の頻度を超えた意味的ダイナミクスを組み込むことで、リアルタイムイベント検出などの下流アプリケーションを改善すること。
• 政治的危機のような出来事において、共通語が再定義されるような予期しない言語的シフトを特定するための意味的トラッキングの有効性を示すこと。

提案手法

• 2014–2015年のロシア＝ウクライナ危機期に、25週間にわたって収集されたVKontakte投稿のテキストを用いて、時刻に依存する単語埋め込みを学習し、進化する単語表現を捉える。
• 語の現在の埋め込みと初期の埋め込みとのコサイン距離を用いて、表現シフト（意味的ドリフト）を定量化する。
• 語の頻度の時間的変化としてコンセプトドリフトを測定し、比較のための表面的信号を提供する。
• 将来の意味的変化を予測するために、表現シフトおよびコンセプトドリフトのラグ付き値を用いて予測モデルを訓練する。
• 語の埋め込みの軌道パターンを表示する可視化技術を開発し、文脈および感情の変化を強調する。
• 語の意味的および頻度的パターンに応じて、増加・減少・一定の動的パターンで分類するクラスタリングを適用し、共通の意味的軌道の特定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ソーシャルメディアのテキストにおける語の意味の短期的表現シフトを、どのように定量的に測定できるか？
• RQ2 過去の表現および頻度的ダイナミクスを用いて、短期的意味的シフトをどの程度まで予測できるか？
• RQ3 危機的出来事の際のソーシャルメディア言語において、表現シフトと表面的コンセプトドリフトとはどのように異なるか？
• RQ4 アナリストがリアルタイムで予期しない意味的変化を検出・解釈するのを助けるために、どのような可視化および分析ツールが有効か？
• RQ5 急激に進行する出来事（例えば政治的危機）において、意味的シフトのトラッキングが、出現または再定義された語の検出を改善できるか？

主な発見

• 過去の意味的シフトとコンセプトドリフトの組み合わせを用いて、数週間先までの短期的表現シフトを正確に予測可能である。
• 本研究では、意味的および頻度的パターンに基づき、3つの一般的な動的軌道（増加・減少・一定）を同定した。
• 『ukrop』（パクチ）という語は、危機期に「ウクライナの愛国者」という意味に顕著に再定義された。これは、一般的な語が政治的文脈で新たな含みを持つようになることを示している。
• 語の使用頻度が安定している場合でも、表現シフトは意味的進化を捉えることができ、頻度の変化のみに依存する指標よりも意味的変化の感受性が高いため、より感度の高い指標である。
• 語の埋め込み軌道の可視化により、語の意味が変化する重要な時期（例：『fire』が中立的から戦争関連の文脈に移行する時期）をアナリストが特定できる。
• 本手法により、頻度が安定しているにもかかわらず高い意味的ドリフトを示す語が存在することが明らかになった。これは、文脈が変化する中で静的語が使われ、誤情報キャンペーンに利用される可能性を示唆している。