[논문 리뷰] Using machine learning and information visualisation for discovering latent topics in Twitter news

Vladimir Vargas-Calderón, Marlon Steibeck Dominguez외 3명|arXiv (Cornell University)|2019. 10. 21.

Social Media and Politics참고 문헌 27인용 수 6

한 줄 요약

이 논문은 뉴스 트윗의 잠재 주제를 탐색하고 사용자 반응에서 주제를 예측하기 위해 비지도 주제 모델링(LDA 및 FastText + K-means)과 지도 학습 분류를 조합한 이단계 방법을 제안한다. FastText + K-means 접근 방식은 주제 해석 가능성과 분류 성능에서 LDA를 능가했으며, 반응에서 뉴스 주제를 예측할 때 상위 1개 주제에서 정밀도와 재현율이 각각 40%를 기록했고, 콜롬비아 평화 조약이 가장 사회적 영향력 있는 주제로 드러났다.

ABSTRACT

We propose a method to discover latent topics and visualise large collections of tweets for easy identification and interpretation of topics, and exemplify its use with tweets from a Colombian mass media giant in the period 2014--2019. The latent topic analysis is performed in two ways: with the training of a Latent Dirichlet Allocation model, and with the combination of the FastText unsupervised model to represent tweets as vectors and the implementation of K-means clustering to group tweets into topics. Using a classification task, we found that people respond differently according to the various news topics. The classification tasks consists of the following: given a reply to a news tweet, we train a supervised algorithm to predict the topic of the news tweet solely from the reply. Furthermore, we show how the Colombian peace treaty has had a profound impact on the Colombian society, as it is the topic in which most people engage to show their opinions.

연구 동기 및 목표

• 주요 콜롬비아 매체에서 수집한 대규모 뉴스 트윗에 대해 비지도 기계 학습을 활용해 잠재 주제를 식별하기.
• 다양한 뉴스 주제에 대한 공적 반응이 언어적 패턴과 참여도 패턴에서 유의미하게 다름을 평가하기.
• LDA와 FastText + K-means를 비교하여 주제 탐색 및 시각화를 위한 두 가지 주제 모델링 파이프라인을 개발하고 평가하기.
• 사용자 반응 텍스트만을 입력으로 사용해 뉴스 트윗의 주제를 예측할 수 있는 지도 학습 FastText 모델을 훈련하기.
• 특히 콜롬비아 평화 조약과 같은 특정 주제의 사회적 영향을 참여도 지표를 통해 평가하기.

제안 방법

• 2014~2019년 기간 동안 Twitter API를 통해 @NoticiasRCN에서 수집한 258,848개의 뉴스 트윗과 140만 개의 반응.
• 구두점, URL, 해시태그, 사용자명을 제거하고 어간 추출을 적용해 소문자 형태로 전처리.
• 어휘 공존 확률을 모델링하여 어휘 집합에서 12개의 잠재 주제를 학습하기 위해 잠재 디리클레 분할(LDA)을 적용.
• 트윗의 밀도 있는 벡터 표현을 위해 FastText를 사용한 후, K-means 군집화를 통해 트윗을 12개의 군집(주제)으로 분류.
• LDA의 경우 확률 임계값(0.8)을, FastText + K-means의 경우 군집 중심까지의 거리 임계값을 사용해 각 주제의 대표 트윗 선별.
• 반응 텍스트만을 입력으로 사용해 뉴스 트윗의 주제를 예측하기 위한 지도 학습 FastText 분류기 훈련.

실험 결과

연구 질문

• RQ1 비지도 주제 모델링이 주요 매체의 뉴스 트윗에서 잠재 주제를 효과적으로 탐지할 수 있는가?
• RQ2 원본 트윗의 주제에 따라 공적 반응이 언어적 패턴에서 유의미하게 다를까?
• RQ3 LDA와 FastText + K-means 중 어느 주제 모델링 접근 방식이 더 해석 가능하고 시각적으로 일관된 주제를 생성하는가?
• RQ4 지난 학습 모델이 사용자 반응만으로도 뉴스 트윗의 주제를 정확히 예측할 수 있는가?
• RQ5 발견된 주제들 중에서 어떤 뉴스 주제가 가장 높은 수준의 공적 참여도와 사회적 영향력을 가졌는가?

주요 결과

• FastText + K-means 방법은 LDA에 비해 더 해석 가능하고 잘 분리된 주제 군집을 시각화에서 보였다.
• FastText + K-means 접근 방식은 반응에서 뉴스 트윗의 주제를 예측할 때 상위 1개 주제에서 정밀도 40%와 재현율 40%를 기록했으며, LDA를 크게 앞서며 성능이 뛰어났다.
• ‘평화 조약 정치’로 라벨링된 주제가 가장 높은 참여도를 보였으며, 트윗당 좋아요, 재트윗, 반응 수가 가장 많았다.
• 분류 작업 결과, 사용자 반응이 뉴스 트윗의 주제에 따라 달라지며, 주제별로 고유한 언어적 및 정서적 패턴이 있음을 확인했다.
• LDA 모델은 주제 수(K)를 조정하는 데 신중한 튜닝이 필요했으며, 실제 주제가 융합되거나 분할되는 문제를 야기했지만, FastText + K-means는 이러한 문제에 더 강건했다.
• 본 연구는 콜롬비아 평화 조약이 데이터셋 내에서 가장 사회적 영향력 있는 사건임을 확인했으며, 모든 지표에서 측정 가능한 공적 참여도를 보였다.