[논문 리뷰] Improved Twitter Sentiment Prediction through Cluster-then-Predict Model

Rishabh Soni, K. James Mathai|arXiv (Cornell University)|2015. 09. 08.

Sentiment Analysis and Opinion Mining참고 문헌 6인용 수 14

한 줄 요약

이 논문은 먼저 K-means 군집화를 사용해 트위터 트윗을 그룹화한 후, 그 군집화된 데이터를 바탕으로 의사결정 트리와 서포트 벡터 기반 모델(SVM)과 같은 지도 학습 모델을 적용하는 클러스터-그런 다음 예측 프레임워크를 제안한다. 이 방법은 군집 특화된 감성 패턴을 활용함으로써 기존 방법보다 높은 정확도를 달성하며, 기준 데이터셋에서 F1 점수 향상 폭이 최대 12%에 이르렀다.

ABSTRACT

Over the past decade humans have experienced exponential growth in the use of online resources, in particular social media and microblogging websites such as Facebook, Twitter, YouTube and also mobile applications such as WhatsApp, Line, etc. Many companies have identified these resources as a rich mine of marketing knowledge. This knowledge provides valuable feedback which allows them to further develop the next generation of their product. In this paper, sentiment analysis of a product is performed by extracting tweets about that product and classifying the tweets showing it as positive and negative sentiment. The authors propose a hybrid approach which combines unsupervised learning in the form of K-means clustering to cluster the tweets and then performing supervised learning methods such as Decision Trees and Support Vector Machines for classification.

연구 동기 및 목표

• 마이크로블로깅 데이터의 노이즈가 많고 구조가 없는 특성에 대응하여 트위터 감성 분류의 정확도를 향상시키는 것.
• 분류 이전에 트윗을 군집화하는 것이 지도 학습 감성 모델의 성능을 향상시키는지 탐색하는 것.
• 실제 트위터 데이터셋에 대해 유사한 비지도-지도 학습 접근법의 효과성을 평가하는 것.
• 기존의 감성 분류 방법과 비교하여 제안된 클러스터-그런 다음 예측 모델의 성능을 평가하는 것.

제안 방법

• 텍스트 유사도를 기반으로 트윗을 군집화하기 위해 K-means 군집화를 적용하여 차원 축소 및 노이즈 감소.
• 후속 지도 학습을 위한 대표 특징으로 군집 중심점(centroids)을 사용.
• 군집화된 트윗 데이터를 바탕으로 의사결정 트리와 서포트 벡터 기반 모델(SVM)을 학습.
• 군집화 및 분류 이전에 TF-IDF 벡터화를 사용하여 트윗을 표현.
• 각 군집 내 레이블이 부여된 트윗의 다수결 투표를 통해 군집에 감성 레이블을 할당.
• 기준 NLP 메트릭(정밀도, 재현율, F1 점수)을 사용하여 기준 트위터 데이터셋에서 모델을 검증.

실험 결과

연구 질문

• RQ1 직접 분류하는 것과 비교해 분류 이전에 트윗을 군집화하는 것이 감성 예측 정확도를 향상시키는가?
• RQ2 다양한 군집 설정(예: 군집 수)이 후속 지도 학습 모델의 성능에 어떤 영향을 미치는가?
• RQ3 군집 특화된 감성 패턴이 노이즈가 많은 소셜 미디어 텍스트에서 모델 일반화 능력을 향상시키는가?
• RQ4 클러스터-그런 다음 예측 접근법이 트위터에서 기존의 엔드 투 엔드 감성 분류와 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 클러스터-그런 다음 예측 모델은 동일한 데이터셋에서 기준 모델 대비 F1 점수를 12% 높게 기록했다.
• K-means 군집화가 노이즈 감소 및 감성 분류를 위한 특징 표현 향상에 효과적이었다.
• 군집화된 데이터에 적용했을 때 서포트 벡터 기반 모델(SVM)이 의사결정 트리보다 성능이 뛰어나, 모델이 군집의 구조에 민감함을 시사했다.
• 다양한 군집 수에 걸쳐 안정적인 성능을 보였으며, 테스트된 데이터셋에서 최적의 성능은 5~7개 군집에서 관찰되었다.
• 군집 내 다수결 투표 방식이 레이블 일관성을 향상시키고, 모호한 트윗의 잘못된 분류를 줄였다.