[논문 리뷰] A Case Study in Text Mining: Interpreting Twitter Data From World Cup Tweets

Daniel Godfrey, Caley Johns외 3명|arXiv (Cornell University)|2014. 08. 21.

Complex Network Analysis Techniques참고 문헌 9인용 수 46

한 줄 요약

이 연구는 월드컵 기간 동안 트위터 데이터를 클러스터링하기 위해 k-means와 비음성 행렬 분해(NMF)를 비교하며, DBSCAN과 공통 클러스터링을 조합한 노이즈 제거 파이프라인을 사용한다. NMF는 더 빠르고 해석 가능하며 더 명확하게 정의된 주제를 생성하여, 스페인어 트윗 및 선수 중심 토론과 같은 독립된 주제를 분리하는 데서 k-means를 뛰어넘었다.

ABSTRACT

Cluster analysis is a field of data analysis that extracts underlying patterns in data. One application of cluster analysis is in text-mining, the analysis of large collections of text to find similarities between documents. We used a collection of about 30,000 tweets extracted from Twitter just before the World Cup started. A common problem with real world text data is the presence of linguistic noise. In our case it would be extraneous tweets that are unrelated to dominant themes. To combat this problem, we created an algorithm that combined the DBSCAN algorithm and a consensus matrix. This way we are left with the tweets that are related to those dominant themes. We then used cluster analysis to find those topics that the tweets describe. We clustered the tweets using k-means, a commonly used clustering algorithm, and Non-Negative Matrix Factorization (NMF) and compared the results. The two algorithms gave similar results, but NMF proved to be faster and provided more easily interpreted results. We explored our results using two visualization tools, Gephi and Wordle.

연구 동기 및 목표

• 노이즈가 많은 트위터 텍스트 데이터에서 의미 있는 주제를 식별하는 데 k-means와 NMF의 효과성을 평가하는 것.
• 다양한 실행에서 일관되게 클러스터링되지 않는 트윗을 걸러내기 위해 DBSCAN과 공통 행렬을 조합하여 실제 텍스트 데이터의 언어적 노이즈를 해결하는 것.
• 대규모 트위터 데이터셋에서 k-means와 NMF의 해석 가능성, 계산 효율성 및 클러스터링 품질을 비교하는 것.
• Gephi와 Wordle와 같은 시각화 도구가 클러스터 결과의 해석 가능성에 어떻게 기여하는지 탐색하는 것.
• 소셜 미디어 텍스트 마이닝의 맥락에서 NMF가 k-means보다 더 일관되고 명확한 주제를 제공하는지 여부를 판단하는 것.

제안 방법

• 월드컵 이벤트 이전에 'world cup'을 포함하는 약 30,000개의 트윗을 트위터 API를 사용해 수집하였다.
• DBSCAN과 공통 행렬을 조합하여 노이즈가 많고 대표성이 떨어지는 트윗을 걸러내어 데이터셋을 29,353개에서 17,023개로 감소시켰다.
• 클러스터링 알고리즘에 사용하기 위해 트윗을 수치 벡터로 표현하기 위해 TF-IDF 벡터화를 적용하였다.
• 희소 텍스트 데이터에서 문서 길이에 민감하지 않고 효율적인 유사도 측정을 위해 코사인 거리를 유사도 지표로 사용하였다.
• 코사인 거리를 사용하고 k=9로 설정한 k-means 클러스터링을 수행하였으며, 무작위 초기화와 수렴할 때까지 반복적인 중심점 재할당을 통해 수행하였다.
• 비음성 행렬 분해(NMF)를 사용하여 용어-문서 행렬을 W(단어-주제)와 H(주제-문서) 행렬로 분해하였으며, k=9개의 주제로 설정하였다. 알고리즘으로는 교대 제약 최소 제곱법(ACLS)을 사용하였다.

실험 결과

연구 질문

• RQ1 k-means와 NMF는 노이즈가 많은 트위터 텍스트 데이터에서 일관되고 해석 가능한 주제를 어떻게 식별하는가?
• RQ2 DBSCAN과 공통 클러스터링의 조합은 실제 텍스트 마이닝 응용에서 언어적 노이즈를 효과적으로 줄일 수 있는가?
• RQ3 짧고 비공식적인 소셜 미디어 텍스트를 분석할 때 NMF는 k-means보다 더 해석 가능하고 계산 효율성이 높은 결과를 도출하는가?
• RQ4 Gephi와 Wordle와 같은 시각화 도구는 텍스트 마이닝에서 클러스터링 결과의 해석 가능성에 어떻게 기여하는가?
• RQ5 k-means와 NMF는 선수 중심 토론이나 다국어 콘텐츠와 같은 독립된 주제를 얼마나 잘 분리하는가?

주요 결과

• NMF는 수차례의 무작위 초기화와 반복 수렴 단계가 필요한 k-means에 비해 더 빠른 클러스터링 결과를 도출하였다.
• NMF는 더 해석 가능한 주제를 생성하였으며, 더 명확한 단어-주제 연관성과 분명한 주제 클러스터를 보였고, 스페인어 트윗에 특화된 주제가 포함되었다.
• k-means는 종종 일관된 주제를 여러 개의 클러스터로 분할하는 경향이 있었다. 예를 들어 'Falcao/스페인어/스타디움' 주제가 산산이 찢겨졌지만, NMF는 이러한 주제를 하나의 통합된 주제로 유지하였다.
• 공통 행렬 접근법은 여러 실행에서 일관되게 클러스터링되지 않은 트윗을 걸러내어 데이터 품질을 향상시키며 효과적으로 노이즈를 감소시켰다.
• Gephi를 사용한 시각화에서는 NMF 클러스터가 더 뭉툭하고 잘 분리된 형태로 나타났으며, 간선을 통해 강한 주제 간 관계(예: 'FIFA'와 'Venue' 주제가 '스타디움'과 '브라질'을 공유함)를 보여주었다.
• Wordle 시각화에서는 NMF가 각 주제당 더 집중되고 명확한 단어 구름을 생성한 반면, k-means 결과는 겹치는 주제들 사이에서 흐릿하게 퍼져 있었다.