[논문 리뷰] Predicting the NFL Using Twitter

Shiladitya Sinha, Chris Dyer외 2명|arXiv (Cornell University)|2013. 10. 25.

Sports Analytics and Performance참고 문헌 18인용 수 29

한 줄 요약

이 논문은 NFL 경기 결과와 베팬 결과를 예측하기 위해 트위터 감성 및 트윗 수 지표를 사용하는 것을 제안하며, 특히 트윗 수의 변화율에 기반한 단순한 트위터 유래 특징이 전통적인 통계적 특징과 맞먹거나 이를 초월할 수 있음을 보여준다. 주요 발견은 트윗 수 변화율을 기반으로 한 'rateS' 특징이 포인트 스프레드 승자 예측에서 55.3%의 정확도를 기록하여 도박사 수수료를 고려한 수익성 확보를 위한 53% 기준을 초월한다는 것이다.

ABSTRACT

We study the relationship between social media output and National Football League (NFL) games, using a dataset containing messages from Twitter and NFL game statistics. Specifically, we consider tweets pertaining to specific teams and games in the NFL season and use them alongside statistical game data to build predictive models for future game outcomes (which team will win?) and sports betting outcomes (which team will win with the point spread? will the total points be over/under the line?). We experiment with several feature sets and find that simple features using large volumes of tweets can match or exceed the performance of more traditional features that use game statistics.

연구 동기 및 목표

• 트위터에서 수집한 소셜 미디어 데이터가 기존의 경기 통계보다 더 높은 정확도로 NFL 경기 결과와 베판 결과를 예측할 수 있는지 조사하는 것.
• 감성, 트윗 수, 변화율 등 다양한 트위터 유래 특징이 NFL 경기 결과 예측에서 기존의 통계적 특징과 비교해 얼마나 효과적인지 평가하는 것.
• 2010–2012년 기간 동안 NFL 경기와 정렬된 대규모 애너테이션된 트윗 데이터셋을 개발하고 공개하는 것.
• 실시간 소셜 미디어 감성과 트윗 수 추세가 팀 성과와 베판 시장 움직임의 선도적 지표로 기능할 수 있는지 확인하는 것.

제안 방법

• 2010–2012년 NFL 시즌 동안 트위터 스트림의 10%를 수집(가든 호스 방식)하여 일일 약 4,200만 건의 트윗을 twokenize 토크나이저를 사용해 처리했다.
• 수동으로 캐리티드한 해시태그(예: #giants, #jets)를 사용해 트윗을 NFL 팀에 할당하였으며, 다수의 팀 해시태그를 포함한 트윗은 팀별 감성 분석을 위해 기각했다.
• 시간 기반 필터링을 사용해 세 가지 트윗 유형을 정의: 경기 전(24–1시간 전), 경기 후(4–28시간 후), 주간(경기 사이 동안),
• 일반 단어 빈도(예: 'win', 'loss')와 함께 새로운 변화율 특징인 rateS(vprev, ∆=500) 및 rateP(vprev, θ)를 추출하였으며, 이는 이전 트윗 수 대비 트윗 수 변화를 측정한다.
• 트위터 특징과 경기 통계 특징을 결합하기 위해 공통 최대 상관 분석(Canonical Correlation Analysis, CCA)을 사용하였고, 승자 예측, 스프레드 승자 예측(WTS), 오버/언더 예측 세 가지 예측 작업을 위한 이진 분류기 모델을 훈련시켰다.
• 동적 특징 선택 기법을 구현: 매주 이전 두 주 동안의 성능 기반으로 최고의 특징 세트를 선택하여, 모델의 적응적 업데이트를 가능하게 하였다.

실험 결과

연구 질문

• RQ1 특히 트윗 수 및 감성 추세에 기반한 트위터 기반 특징이 기존의 경기 통계와 동일한 정확도로 NFL 경기 결과를 예측할 수 있는가?
• RQ2 트윗 수 변화율 특징(예: rateS, rateP)이 정적 트윗 수나 감성 특징보다 경기 결과 예측에서 더 뛰어난 성능을 보이는가?
• RQ3 소셜 미디어 감성과 실제 경기 결과 사이에 측정 가능한 상관관계가 존재하는가, 특히 스포츠 베판 시장 맥락에서?
• RQ4 과거 성능 기반 동적 특징 선택 전략이 실제 예측 환경에서 시간이 지남에 따라 정확도를 향상시킬 수 있는가?
• RQ5 경기 통계 없이 트위터 특징만으로도 NFL 베판에서 수익성을 달성할 수 있는가(즉, WTS 예측에서 53% 이상의 정확도를 확보하는가)?

주요 결과

• vprev와 ∆=500을 사용한 트위터 rateS 특징이 스프레드 승자 예측에서 55.3%의 정확도를 기록하여, 도박사 수수료를 고려한 수익성 확보를 위한 53% 기준을 초월했다.
• 트위터 유니그램 특징만으로도 오버/언더 예측에서 54.3%의 정확도를 기록하였으며, 이는 대부분의 다른 특징 세트보다 뛰어나며 원시 트윗 수와 단어 빈도에 강력한 신호가 있음을 시사한다.
• CCA를 통해 트위터 유니그램 특징와 통계적 특징을 결합한 결과 WTS 예측 정확도가 4개 성분을 사용할 경우 51.0%로 향상되었지만, 최고의 성능은 변화율 특징을 포함한 하이브리드 모델에서 기록되었다.
• WTS 예측에 가장 뛰어난 특징 세트는 자주 변화함—13주 동안 8개의 서로 다른 세트가 등장하여, 시간에 따라 변화하는 특징 선택이 필요한 것을 시사한다.
• F5 ∪ F9 ∪ 트위터 rateP (vprev, θ=0.2) 조합은 승자 예측에서 65.9%의 정확도, WTS 예측에서 51.4%의 정확도를 기록하였으며, 이는 기준 모델을 초월하는 강력한 예측 능력을 보여준다.
• 일부 특징 세트에서는 높은 정확도를 기록하였음(예: F3 ∪ F4 ∪ 트위터 rateS 조합에서 오버/언더 예측 정확도 58.2%), 그러나 동적 특징 선택 전략은 오버/언더 예측에서 뿐만 아니라 44.1%의 정확도를 기록하여 이 작업에서 향상 여지가 있음을 시사한다.