[논문 리뷰] On predictability of rare events leveraging social media: a machine learning perspective

Lei Le, Emilio Ferrara외 1명|arXiv (Cornell University)|2015. 02. 20.

Sports Analytics and Performance참고 문헌 22인용 수 7

한 줄 요약

이 논문은 실시간 트위터 감성 분석을 활용해 축구 경기에서 희귀한 언더더트 패배(매우 높은 배당률을 가진 결과)를 예측하는 기계학습 프레임워크를 제안한다. 시뮬레이션된 배팅 전략에서 8퍼센트 이상의 마진 수익을 달성하였다. 경기 시작 6시간 전의 팬들 토론 평균 감성 분석을 통해, 모델은 언더독 승리를 80퍼센트의 정확도와 AUROC로 식별하며, 도박사의 배당률과 기본 배팅 전략을 뛰어넘는다.

ABSTRACT

Information extracted from social media streams has been leveraged to forecast the outcome of a large number of real-world events, from political elections to stock market fluctuations. An increasing amount of studies demonstrates how the analysis of social media conversations provides cheap access to the wisdom of the crowd. However, extents and contexts in which such forecasting power can be effectively leveraged are still unverified at least in a systematic way. It is also unclear how social-media-based predictions compare to those based on alternative information sources. To address these issues, here we develop a machine learning framework that leverages social media streams to automatically identify and predict the outcomes of soccer matches. We focus in particular on matches in which at least one of the possible outcomes is deemed as highly unlikely by professional bookmakers. We argue that sport events offer a systematic approach for testing the predictive power of social media, and allow to compare such power against the rigorous baselines set by external sources. Despite such strict baselines, our framework yields above 8% marginal profit when used to inform simple betting strategies. The system is based on real-time sentiment analysis and exploits data collected immediately before the games, allowing for informed bets. We discuss the rationale behind our approach, describe the learning framework, its prediction performance and the return it provides as compared to a set of betting strategies. To test our framework we use both historical Twitter data from the 2014 FIFA World Cup games, and real-time Twitter data collected by monitoring the conversations about all soccer matches of four major European tournaments (FA Premier League, Serie A, La Liga, and Bundesliga), and the 2014 UEFA Champions League, during the period between Oct. 25th 2014 and Nov. 26th 2014.

연구 동기 및 목표

• 희귀한 고배당 결과는 낮은 확률로 인해 예측이 어려우므로, 소셜 미디어 대화가 이러한 결과를 예측할 수 있는지 체계적으로 평가하는 것.
• 전문 도박사의 배당률을 엄격한 기준으로 삼아, 소셜 미디어 감성의 예측 능력과 비교하는 것.
• 실시간, 투명한 기계학습 프레임워크를 개발하여 트위터 대화의 감성 정보를 활용해 수익성 있는 배팅 전략을 수립하는 것.
• 특히 불균형한 경기에서 집합적인 팬 감성이 업셋을 예측하는 데 이용 가능한 신호를 담고 있다는 가설을 검증하는 것.
• 주요 유럽 축구 대회와 2014년 FIFA 월드컵의 역사적 및 실시간 트위터 데이터를 사용해 프레임워크를 검증하는 것.

제안 방법

• 고배당 경기에서 양 팀의 팬들이 참여한 대화를 중심으로, 경기 시작 6시간 전부터 실시간 트위터 데이터를 수집한다.
• Indico API를 사용해 실시간 감성 분석을 수행하여 트윗의 평균 감성 점수를 계산한다. 중립 감성의 기준은 0.3–0.7과 0.4–0.6으로 정의된다.
• 평균 감성 점수를 유일한 특징으로 사용해, 예상 결과(저배당)와 이례적인 결과(고배당)를 구분하는 이진 분류기 모델을 훈련시킨다.
• 모델의 예측 결과를 바탕으로 단순한 배팅 전략을 수립: 예측된 고배당 결과에 베팅을 한다.
• 2014년 FIFA 월드컵 트위터 데이터의 10퍼센트 샘플과 유럽 주요 리그 4개 및 UEFA 챔피언스리그의 전체 실시간 스트림을 사용해 모델 성능을 검증한다.
• 시험 기간 동안 기준 전략(무작위 베팅 및 고정 배당 베팅)과 비교하여 배팅 전략의 수익성 평가

실험 결과

연구 질문

• RQ1 전문 도박사가 낮은 가능성으로 간주하는 희귀한 고배당 결과를 소셜 미디어 감성 분석이 정확하게 예측할 수 있는가?
• RQ2 전문 도박사의 배당률은 전문 지식과 시장 지혜를 반영하므로, 소셜 미디어 감성의 예측 성능은 이를 어떻게 상회하거나 열등하게 평가할 수 있는가?
• RQ3 감성 정보만을 기반으로 하는 단순한 기계학습 모델이 실제 시뮬레이션 배팅 환경에서 기준 전략을 뛰어넘을 수 있는가?
• RQ4 소셜 미디어 신호를 활용할 때, 한 결과의 배당률이 매우 높은 불균형한 경기에서 체계적인 이점이 존재하는가?
• RQ5 모델의 예측이 단일 관측 가능한 특징(평균 감성)에 의존함에도 불구하고, 그 해석 가능성과 이해 가능성은 어느 정도인가?

주요 결과

• 중립 감성 범위를 0.3에서 0.7로 설정했을 때, 모델은 정확도 0.8052와 AUROC 0.8052를 기록하여 강력한 분류 성능을 보였다.
• 단순한 배팅 전략에 적용했을 때 시스템은 8퍼센트 이상의 마진 수익을 창출했으며, 일관되게 손실을 봤던 기준 전략보다 뚜렷이 뛰어났다.
• 모델은 2014년 FIFA 월드컵의 역사적 데이터(10퍼센트 샘플)와 주요 유럽 리그, UEFA 챔피언스리그의 실시간 스트림 모두에서 뛰어난 성능을 보였다.
• 감성이라는 단일 해석 가능한 특징을 사용함으로써 실시간, 투명한 예측이 가능했으며, 이는 설명 가능하고 실행 가능한 예측이었다.
• 결과는 소셜 미디어 감성이 집단적 팬의 기대를 반영하며, 특히 고배당 결과에서 업셋 가능성을 효과적으로 신호할 수 있음을 시사한다.
• 고배당 경기에서의 성공은 시장의 비효율성이 존재할 수 있음을 시사하며, 이는 아마도 베파들이 위험 회피 성향을 보이기 때문일 수 있다. 이러한 시장의 비효율성은 소셜 미디어 신호를 통해 이용 가능할 수 있다.