[논문 리뷰] The Role of Emotional Variables in the Classification and Prediction of Collective Social Dynamics

Jan Chołoniewski, Julian Sienkiewicz외 2명|arXiv (Cornell University)|2016. 01. 27.

Complex Network Analysis Techniques참고 문헌 31인용 수 5

한 줄 요약

이 연구는 2012 올림픽 기간 동안 영국의 트위터 데이터를 대상으로 데이터 마이닝 기법을 적용하여 정서 변수가 집단적 사회 역학의 분류 및 예측에 미치는 영향을 분석한다. 정서 점수를 통합함으로써 피크 탐지의 분류 정확도가 높아졌으며, 이는 96%에 이르렀지만 활동 예측에는 향상되지 않았다. 이는 정서적 내용이 이벤트 유도 사회적 급증을 식별하는 데 특히 유용하다는 것을 시사한다.

ABSTRACT

We demonstrate the power of data mining techniques for the analysis of collective social dynamics within British Tweets during the Olympic Games 2012. The classification accuracy of online activities related to the successes of British athletes significantly improved when emotional components of tweets were taken into account, but employing emotional variables for activity prediction decreased the classifiers ’ quality. The approach could be easily adopted for any prediction or classification study with a set of problem-specific variables.

연구 동기 및 목표

• 정서 변수가 집단적 사회 역학을 분류하고 예측하는 데 있어 데이터 마이닝 모델의 정확도를 향상시키는지 평가하기 위해.
• 온라인 소셜 미디어 활동을 통해 실생활 사건(예: 올림픽 메달 수상)을 탐지하는 데 정서가 어떤 역할을 하는지 조사하기 위해.
• 정서 차원을 추가함으로써 분류기 성능이 다양한 예측 및 분류 작업 간에 어떻게 영향을 받는지 평가하기 위해.

제안 방법

• 2012 올림픽 기간 동안 런던에서 15분 단위로 집계된 트위터 데이터를 수집하였으며, 스포츠 관련 해시태그에 집중하였다.
• 트윗 활동(ACC), 정서(SENT), 고유 사용자 비율(PERC), 응답 비율(PERC REP), 평균 트윗 길이(MEAN PL) 등의 특징을 계산하였다.
• SentiStrength 분류기를 사용하여 긍정 및 부정 정서 점수를 추출하고, 핵심 정서 변수로 네트워크 정서 점수를 계산하였다.
• 정서 및 활동 피크를 탐지하는 알고리즘을 활용하여 정서적 또는 행동적 급증이 있는 시간 창을 레이블링 하였다.
• 정서 변수 유무에 따라 특징 집합을 활용해 다양한 데이터 마이닝 분류기(SVM, 의사결정수 등)를 훈련시켰다.
• 세 가지 벤치마크 문제에서 성능을 평가하였다: 트렌드 예측, 임계값 초과 예측, 피크 분류.

실험 결과

연구 질문

• RQ1 정서 변수는 집단적 사회 역학을 분류하는 데 있어 데이터 마이닝 모델의 정확도를 향상시킬 수 있는가?
• RQ2 정서 데이터를 통합함으로써 실생활 사건과 관련된 온라인 활동 급증을 예측하는 데 도움이 되는가?
• RQ3 정서 특징의 포함 여부가 다양한 종류의 분류 및 예측 작업에서 분류기 성능에 어떻게 영향을 주는가?
• RQ4 정서 변수는 일반적인 트렌드 예측보다는 특정 유형의 사회 역학, 예를 들어 이벤트 유도 피크에 더 효과적인가?

주요 결과

• 정서 변수를 통합함으로써 피크 탐지의 분류 정확도가 유의미하게 향상되었으며, 최고의 분류기에서는 96%의 정확도를 달성하였다.
• 활동 트렌드 예측에서는 정서 변수가 분류기 정확도에 유의미한 향상을 가져오지 못했으며, 정확도는 여전히 66%로 유지되었다.
• 정서 특징을 추가함으로써 성능이 떨어지지는 않았지만 일반 활동 예측에 대한 예측 능력 향상도 이루어지지 않았다.
• 특징 수에 따라 분류기 성능이 달라졌으며, 일부 사례에서는 차원을 추가함으로써 정확도가 떨어지기도 해, 특징 공간 크기와 모델 성능 간의 비단조화적 관계가 있음을 시사한다.
• 이 연구는 정서적 내용이 집단적 정서 반응이 수반되는 맥락에서 이벤트 유도 사회적 급증을 탐지하는 데 핵심적인 요소임을 확인한다.
• 결과는 정서 분석을 사회 미디어 분석을 위한 데이터 마이닝 파이프라인에서 유용한 특징으로 활용할 것을 지지하며, 특히 사회적으로 의미 있는 사건을 탐지할 때 유용하다.