[논문 리뷰] Event Outcome Prediction using Sentiment Analysis and Crowd Wisdom in Microblog Feeds

Rahul Radhakrishnan Iyer, Ronghuo Zheng외 2명|arXiv (Cornell University)|2019. 12. 11.

Sentiment Analysis and Opinion Mining참고 문헌 29인용 수 11

한 줄 요약

이 논문은 문서 임베딩과 토픽 특징을 사용한 다중 레이블 감성 분석 프레임워크를 제안하여, 트위터와 같은 마이크로블로깅 감성으로부터 미국 대통령 토론 승자, 그래미 어워즈, 슈퍼볼 결과와 같은 이벤트 결과를 예측한다. 연구 결과, 군중의 지혜가 전문가 의견과 대부분 일치하며, 격차가 발생할 경우 전문가의 코멘터리가 공중의 감성에 상당한 영향을 미치는 것으로 나타났다. 이는 전문가의 해석적 맥락을 통합할 경우 사회적 미디어 감성이 실제 세계의 결과를 신뢰할 만하게 예측할 수 있음을 입증한다.

ABSTRACT

Sentiment Analysis of microblog feeds has attracted considerable interest in recent times. Most of the current work focuses on tweet sentiment classification. But not much work has been done to explore how reliable the opinions of the mass (crowd wisdom) in social network microblogs such as twitter are in predicting outcomes of certain events such as election debates. In this work, we investigate whether crowd wisdom is useful in predicting such outcomes and whether their opinions are influenced by the experts in the field. We work in the domain of multi-label classification to perform sentiment classification of tweets and obtain the opinion of the crowd. This learnt sentiment is then used to predict outcomes of events such as: US Presidential Debate winners, Grammy Award winners, Super Bowl Winners. We find that in most of the cases, the wisdom of the crowd does indeed match with that of the experts, and in cases where they don't (particularly in the case of debates), we see that the crowd's opinion is actually influenced by that of the experts.

연구 동기 및 목표

• 트위터와 같은 마이크로블로그에서의 집단적 공중 감성이 미국 대선 토론, 그래미 어워즈, 슈퍼볼 결과와 같은 실제 세계의 이벤트 결과를 신뢰성 있게 예측할 수 있는지 조사한다.
• 군중의 지혜가 이벤트 결과 예측에서 전문가 의견과 어느 정도 일치하는지 평가한다.
• 특히 대통령 토론과 같은 고도의 관심을 끄는 행사 동안 전문가 코멘터리가 소셜 미디어 공중 감성에 어떤 영향을 미치는지 분석한다.
• 문서 임베딩과 토픽 특징을 활용한 다중 레이블 분류 기법이 마이크로블로그 데이터의 감성 분석에 얼마나 효과적인지 평가한다.
• 다양한 이벤트 유형에 걸쳐 사회 미디어 감성과 전문가 판단 간의 예측 능력을 비교 평가한다.

제안 방법

• 연구는 각 트윗에 감성 극성과 후보자/카테고리 레이블을 동시에 부여하는 데 중점을 두고, RaKeL 기반 다중 레이블 분류기를 사용한 다중 레이블 분류 접근법을 적용한다.
• 분류 정확도 향상을 위해 문맥적 감성을 포괄하는 문서 임베딩 특징과 트윗의 주제를 나타내는 토픽 특징을 결합한다.
• 결과 예측을 위해 각 후보자나 수상자별 감성 점수를 집계하고, 가장 높은 양의 감성 점수를 기록한 자를 예측 승자로 선정한다.
• 시간에 따른 추세 분석을 통해 공중 감성의 변화와 전문가 코멘터리(특히 워싱턴 포스트와 같은 매체) 간의 상관관계를 분석한다.
• 모델은 레이블이 부여된 학습 데이터로 훈련된 후, 미국 대선 토론, 그래미 어워즈 2013, 슈퍼볼 2013의 세 이벤트 영역에서의 레이블이 없는 트윗에 적용된다.
• 평가 지표로는 F1-측정과 평균 정밀도를 사용하며, 공정성과 확장성 확보를 위해 예측 목록은 참가자 수의 절반(또는 MVP 예측의 경우 상위 10명)으로 설정된다.

실험 결과

연구 질문

• RQ1 마이크로블로그에서 표현된 군중의 감성이 이벤트 결과 예측에서 전문가 예측과 어느 정도 일치하는가?
• RQ2 대통령 토론과 같은 고위험 이벤트 기간 동안 전문가 코멘터리는 소셜 미디어 공중 감성에 어떤 영향을 미치는가?
• RQ3 문서 임베딩과 토픽 특징을 활용한 다중 레이블 감성 분류 기법이 그래미 어워즈나 슈퍼볼과 같은 다중 카테고리 이벤트의 수상자를 효과적으로 예측할 수 있는가?
• RQ4 시간에 따라 공중 감성에 나타나는 추세는 무엇이며, 전문가 평가와 어떤 상관관계를 가지는가?
• RQ5 군중 의견과 전문가 의견이 갈라지는 경우, 특히 전문가의 영향력 등 어떤 요소들이 감성의 변화를 이끄는가?

주요 결과

• 군중의 감성 예측 결과는 대부분의 경우 전문가 결과와 일치하였으며, 특히 그래미 어워즈와 슈퍼볼의 경우 평균 F1-측정값이 각각 0.750과 1.000을 기록하였다.
• 미국 대선 토론의 경우, 시스템이 워싱턴 포스트의 전문가 순위와 유사하게 승자를 예측하여, 공중 감성과 전문가 판단 간의 높은 일치도를 보였다.
• 불일치가 발생한 경우(예: 제5회 공화당 토론), 공중 감성이 전문가 견해에서 벗어났지만, 다음 날에는 전문가 의견 쪽으로 감성의 방향이 전환되어 전문가의 영향력이 확인되었다.
• RaKeL 다중 레이블 분류기는 단일 레이블 모델보다 우수한 성능을 보였으며, 문서 임베딩과 토픽 특징이 감성 분류에 가장 효과적인 것으로 나타났다.
• 모든 이벤트에 대한 평균 F1-측정값은 0.636, 평균 정밀도는 0.677로 전반적으로 높은 예측 성능를 보였다.
• 본 연구는 사회 미디어 감성이 맥락적 정보와 토픽 인식 기능을 보완할 경우, 결과 예측에서 전문가 판단의 신뢰할 수 있는 대체 수단이 될 수 있음을 확인하였다.