[论文解读] Measuring, Predicting and Visualizing Short-Term Change in Word Representation and Usage in VKontakte Social Network

Ian Stewart, Dustin Arendt+2 more|arXiv (Cornell University)|Mar 21, 2017

Complex Network Analysis Techniques被引用 13

一句话总结

本文提出了一种方法，通过使用2014–2015年俄乌危机期间VKontakte帖子中的时间感知词嵌入，测量、预测并可视化词表示的短期语义变化。通过区分表示漂移（语义变化）与概念漂移（频率变化），该研究证明了可以利用先前的语义和频率动态，提前数周准确预测短期语义变化，为实时危机监测和语言分析提供了强大工具。

ABSTRACT

Language in social media is extremely dynamic: new words emerge, trend and disappear, while the meaning of existing words can fluctuate over time. Such dynamics are especially notable during a period of crisis. This work addresses several important tasks of measuring, visualizing and predicting short term text representation shift, i.e. the change in a word's contextual semantics, and contrasting such shift with surface level word dynamics, or concept drift, observed in social media streams. Unlike previous approaches on learning word representations from text, we study the relationship between short-term concept drift and representation shift on a large social media corpus - VKontakte posts in Russian collected during the Russia-Ukraine crisis in 2014-2015. Our novel contributions include quantitative and qualitative approaches to (1) measure short-term representation shift and contrast it with surface level concept drift; (2) build predictive models to forecast short-term shifts in meaning from previous meaning as well as from concept drift; and (3) visualize short-term representation shift for example keywords to demonstrate the practical use of our approach to discover and track meaning of newly emerging terms in social media. We show that short-term representation shift can be accurately predicted up to several weeks in advance. Our unique approach to modeling and visualizing word representation shifts in social media can be used to explore and characterize specific aspects of the streaming corpus during crisis events and potentially improve other downstream classification tasks including real-time event detection.

研究动机与目标

• 区分并量化社交媒体语言中短期表示漂移（语义变化）与表面层次的概念漂移（频率变化）。
• 开发预测模型，利用先前的表示和频率动态来预测未来的语义变化。
• 开发新颖的可视化技术，帮助分析师实时探索和追踪危机事件中词义的演变。
• 通过引入超越词频的语义动态，改进下游应用（如实时事件检测）。
• 证明语义追踪在识别意外语言变化（如政治危机期间常见词汇如'ukrop'的重新定义）中的实用性。

提出的方法

• 在2014–2015年俄乌危机期间，对VKontakte平台连续25周收集的帖子训练时间感知词嵌入，以捕捉词表示的演变。
• 使用词当前嵌入与原始嵌入之间的余弦距离来量化表示漂移，衡量随时间推移的语义漂移。
• 通过词频随时间的变化来测量概念漂移，提供与之对比的表面信号。
• 利用表示漂移和概念漂移的滞后值训练预测模型，以预测未来的语义变化。
• 开发可视化技术，显示词嵌入的轨迹模式，突出上下文和语义色彩的变化。
• 应用聚类方法，根据动态模式（增加、减少或恒定）对词进行分组，以识别常见的语义轨迹。

实验结果

研究问题

• RQ1 如何在社交媒体文本中定量测量词义的短期表示漂移？
• RQ2 在多大程度上可以利用先前的表示和频率动态来预测短期语义变化？
• RQ3 在危机事件中，表示漂移与社交媒体语言中的表面层次概念漂移有何不同？
• RQ4 哪些可视化与分析工具可帮助分析师实时检测和解释意外的语义变化？
• RQ5 在如政治危机等快速演变的事件中，追踪语义变化是否能提升对新兴或重新定义术语的检测能力？

主要发现

• 通过结合先前的语义漂移和概念漂移，可以提前数周准确预测短期表示漂移。
• 研究识别出三类常见动态轨迹——增加、减少和恒定，基于词的语义和频率模式。
• 像'ukrop'（香菜）这样的词在危机期间经历了显著的语义重新分配，被用作'乌克兰爱国者'的代称，表明常见词汇可获得新语义。
• 表示漂移是比频率变化更敏感的语言变化指标，因为它即使在使用频率稳定的情况下也能捕捉语义演变。
• 词嵌入轨迹的可视化有助于分析师识别词义发生转变的关键时间点，例如'fire'从中性语境转变为与战争相关的语境。
• 该方法揭示，一些频率稳定的词表现出高度语义漂移，提示可能存在利用静态词汇在语境中动态变化的误导性信息传播活动。