[논문 리뷰] Predicting the Future with Social Media

Sitaram Asur, Bernardo A. Huberman|SSRN Electronic Journal|2010. 03. 29.

Opinion Dynamics and Social Influence인용 수 17

한 줄 요약

이 논문은 실시간 트위터 사용자 반응—특히 트윗 수와 감성 극성—을 활용해 영화 박스오피스 수익을 예측하는 방법을 제안하며, 트윗 빈도 기반의 단순 선형 모델이 헐리우드 스톡 엑스체인지와 같은 주요 시장 기반 예측 방법을 능가함을 보여준다. 연구는 사회적 미디어 활동이 실제 세계 결과를 강력하게 예측할 수 있음을 입증하며, 특히 영화 개봉 후 감성 정보가 예측 정확도를 향상시킴을 시사한다.

ABSTRACT

In recent years, social media has become ubiquitous and important for social networking and content sharing. And yet, the content that is generated from these websites remains largely untapped. In this paper, we demonstrate how social media content can be used to predict real-world outcomes. In particular, we use the chatter from Twitter.com to forecast box-office revenues for movies. We show that a simple model built from the rate at which tweets are created about particular topics can outperform market-based predictors. We further demonstrate how sentiments extracted from Twitter can be further utilized to improve the forecasting power of social media.

연구 동기 및 목표

• 소셜 미디어 사용자 반응이 실제 세계 결과를 예측할 수 있는지 조사하는 것, 특히 영화 박스오피스 수익에 초점을 맞춘다.
• 트위터 사용자 반응 빈도(주의도)가 헐리우드 스톡 엑스체인지와 같은 시장 기반 지표보다 예측 성능에 얼마나 기여하는지 평가하는 것.
• 특히 영화 개봉 후 감성 극성 정보가 예측 정확도에 어떻게 기여하는지 분석하는 것.
• 소셜 미디어 데이터를 활용해 소비자 제품 성능을 일반화 가능한 모델로 예측하는 것.

제안 방법

• 시간에 따라 영화와 관련된 약 300만 건의 트윗을 수집하여, 트윗 수와 감성 극성에 중점을 두었다.
• 선형 회귀를 사용하여 박스오피스 수익을 트윗 빈도와 감성 극성(PNRatio)의 함수로 모델링하였다.
• 시간당 평균 트윗 수를 기준으로 트윗 빈도를 계산하였다.
• 텍스트 분류 기법을 적용하여 트윗의 긍정 및 부정 감성 정보를 추출하고, 극성 비율(PNRatio)을 계산하였다.
• 예측 성능을 시간에 따라 평가하기 위해 첫 주와 두 번째 주의 박스오피스 수익에 대해 모델을 훈련하고 평가하였다.
• 최소 제곱법을 사용하여 주의도(A), 감성 극성(P), 분포(D) 매개변수의 계수를 추정하였다.

실험 결과

연구 질문

• RQ1 트위터에서의 소셜 미디어 사용자 반응 빈도가 기존의 시장 기반 예측 방법보다 실제 영화 박스오피스 수익을 더 정확하게 예측할 수 있는가?
• RQ2 트윗의 감성 극성이 박스오피스 수익 예측 정확도에 어떤 영향을 미치는가?
• RQ3 소셜 미디어 데이터의 예측 능력은 시간이 지남에 따라 변화하는가, 특히 영화 개봉 전후에서 어떻게 달라지는가?
• RQ4 소셜 미디어의 주의도와 감성 정보가 향후 제품 성능에 대한 집단적 지혜를 얼마나 잘 반영하는가?

주요 결과

• 트윗 빈도 모델만으로도 첫 주 박스오피스 수익 예측에서 헐리우드 스톡 엑스체인지보다 높은 정확도(0.94)를 기록하였다.
• 영화 개봉 후 감성 극성(PNRatio)을 포함시킴으로써 예측 정확도가 크게 향상되었으며, 트윗 빈도와 결합한 경우 결정계수 R-squared가 0.92로 상승하였다.
• 평균 트윗 빈도의 계수에 대한 p-값은 2.05e-11로, 수익 예측에 있어 매우 높은 통계적 유의성을 나타내었다.
• PNRatio의 계수에 대한 p-값은 9.43e-06으로, 개봉 후 예측 정확도 향상에 기여하는 중요한 요소임을 확인하였다.
• The Blind Side와 같은 영화는 개봉 후 긍정 감성 지표가 5.02에서 9.65로 급격히 상승했고, 이에 따라 박스오피스 수익도 증가한 반면, New Moon는 감성과 수익 모두 감소하여 감성 정보의 예측가치를 입증하였다.
• 트윗 빈도와 감성 정보를 함께 사용할 경우 모델의 예측 능력이 가장 강력했으며, 이는 주의도와 감성이 함께 통합될 때 강력한 예측 신호를 형성함을 시사한다.