[논문 리뷰] Measuring, Predicting and Visualizing Short-Term Change in Word Representation and Usage in VKontakte Social Network

Ian Stewart, Dustin Arendt외 2명|arXiv (Cornell University)|2017. 03. 21.

Complex Network Analysis Techniques인용 수 13

한 줄 요약

이 논문은 2014–2015 러시아-우크라이나 위기 기간 동안 뷰카онт락트(ВКонтакте) 게시물에서 유도된 시간 인식 단어 임베딩을 사용하여 단기적 의미 변화를 측정하고 예측하며 시각화하는 방법을 제안한다. 표현 이탈(의미 변화)과 개념 이탈(빈도 변화)을 구분함으로써, 과거의 의미 및 빈도 동적 변화를 바탕으로 몇 주 전까지도 단기적 의미 변화를 정확히 예측할 수 있음을 입증하며, 실시간 위기 모니터링 및 언어 분석을 위한 강력한 도구를 제공한다.

ABSTRACT

Language in social media is extremely dynamic: new words emerge, trend and disappear, while the meaning of existing words can fluctuate over time. Such dynamics are especially notable during a period of crisis. This work addresses several important tasks of measuring, visualizing and predicting short term text representation shift, i.e. the change in a word's contextual semantics, and contrasting such shift with surface level word dynamics, or concept drift, observed in social media streams. Unlike previous approaches on learning word representations from text, we study the relationship between short-term concept drift and representation shift on a large social media corpus - VKontakte posts in Russian collected during the Russia-Ukraine crisis in 2014-2015. Our novel contributions include quantitative and qualitative approaches to (1) measure short-term representation shift and contrast it with surface level concept drift; (2) build predictive models to forecast short-term shifts in meaning from previous meaning as well as from concept drift; and (3) visualize short-term representation shift for example keywords to demonstrate the practical use of our approach to discover and track meaning of newly emerging terms in social media. We show that short-term representation shift can be accurately predicted up to several weeks in advance. Our unique approach to modeling and visualizing word representation shifts in social media can be used to explore and characterize specific aspects of the streaming corpus during crisis events and potentially improve other downstream classification tasks including real-time event detection.

연구 동기 및 목표

• 사회적 미디어 언어에서 단기적 표현 이탈(의미 변화)을 표면적 개념 이탈(빈도 변화)과 구분하고 정량화하는 것.
• 과거의 표현 및 빈도 동적 변화를 사용하여 향후 의미 변화를 예측하는 예측 모델을 개발하는 것.
• 위기 사건 기간 동안 실시간으로 단어 의미의 진화를 탐색하고 추적하는 데 도움이 되는 새로운 시각화 기법을 개발하는 것.
• 단어 빈도를 초월한 의미 역학을 통합하여 실시간 사건 탐지와 같은 후행 응용 프로그램을 향상시키는 것.
• 정치적 위기 기간 동안 일반 단어가 재정의되는 것과 같은 예기치 않은 언어적 변화를 식별하는 데 의미 추적 기술의 유용성을 입증하는 것.

제안 방법

• 2014–2015 러시아-우크라이나 위기 기간 동안 25주에 걸쳐 수집된 뷰카онт락트(ВКонтакте) 게시물에서 시간 인식 단어 임베딩을 학습하여 변화하는 단어 표현을 캡처한다.
• 단어의 현재 임베딩과 원래 임베딩 간의 코사인 거리를 사용하여 표현 이탈을 정량화함으로써 시간에 따른 의미 이탈을 측정한다.
• 단어 빈도의 시간적 변화를 측정하여 개념 이탈을 측정함으로써 비교를 위한 표면 수준의 신호를 제공한다.
• 미래의 의미 변화를 예측하기 위해 표현 이탈과 개념 이탈의 지연된 값을 사용하여 예측 모델을 학습한다.
• 단어 임베딩의 궤적 패턴을 표시하는 시각화 기법을 개발하여 맥락과 어조의 변화를 강조한다.
• 동적 패턴(증가, 감소, 일정)에 따라 단어를 군집화하여 공통적인 의미 궤적을 식별할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 사회적 미디어 텍스트에서 단기적 표현 이탈이 어떻게 정량적으로 측정될 수 있는가?
• RQ2 과거의 표현 및 빈도 동적 변화를 사용하여 단기적 의미 변화를 어느 정도 예측할 수 있는가?
• RQ3 위기 사건 기간 동안 사회적 미디어 언어에서 표현 이탈은 표면적 개념 이탈과 어떻게 다를 수 있는가?
• RQ4 분석가들이 실시간으로 예기치 않은 의미 변화를 탐지하고 해석하는 데 도움이 되는 시각적 및 분석 도구는 무엇인가?
• RQ5 빠르게 변화하는 사건, 예를 들어 정치적 위기 기간 동안 의미 변화 추적을 통해 새로운 또는 재정의된 용어 탐지 능력을 향상시킬 수 있는가?

주요 결과

• 과거의 의미 변화와 개념 이탈을 조합하여 단기적 표현 이탈을 몇 주 전까지 정확히 예측할 수 있다.
• 연구는 의미 및 빈도 패턴에 기반하여 증가, 감소, 일정의 세 가지 공통된 동적 궤적을 단어들 사이에서 식별한다.
• '우크롭'(민들레)라는 단어는 위기 기간 동안 '우크라이나 애국자'라는 의미로 의미 재할당을 겪었으며, 일반 단어가 새로운 어조를 얻을 수 있음을 보여준다.
• 빈도 변화만으로는 의미 변화의 진화를 포착하지 못하므로 표현 이탈은 빈도 변화보다 더 민감한 언어 변화 지표이다. 이는 단어 사용 빈도가 안정된 상태에서도 의미 변화를 감지할 수 있기 때문이다.
• 단어 임베딩 궤적의 시각화 기법은 의미 변화가 일어나는 중요한 시점, 예를 들어 '화염'이라는 단어가 중립적 의미에서 전쟁 관련 맥락으로 전환되는 순간을 분석가들이 식별하는 데 도움이 된다.
• 일부 단어는 빈도가 안정된 상태임에도 불구하고 높은 의미 이탈을 보이며, 이는 정적 단어를 사용하여 맥락이 변화하는 가짜 정보 캠페인의 가능성을 드러낸다.