[논문 리뷰] SportSense: Real-Time Detection of NFL Game Events from Twitter

Siqi Zhao, Lin Zhong외 4명|arXiv (Cornell University)|2012. 05. 14.

Video Analysis and Summarization참고 문헌 4인용 수 12

한 줄 요약

SportSense는 인간이 생성한 소셜미디어 데이터를 분산 센서로 활용하여 라이브 NFL 경기 이벤트—터치다운이나 인터셉트와 같은 것들—을 트위터 스트림 분석을 통해 실시간으로 감지하는 시스템을 제안한다. 라이브 경기 중 트윗의 지연 및 게재 빈도 특성에 기반하여, 이 시스템은 30~90초 이내에 98%의 참 양성 감지 성능을 달성하며, 거짓 양성률도 9%로 낮게 유지하여 소셜미디어가 스포츠 분야에서 실시간 이벤트 감지에 활용될 수 있음을 입증한다.

ABSTRACT

We report our experience in building a working system, SportSense (http://www.sportsense.us), which exploits Twitter users as human sensors of the physical world to detect events in real-time. Using the US National Football League (NFL) games as a case study, we report in-depth measurement studies of the delay and post rate of tweets, and their dependence on other properties. We subsequently develop a novel event detection method based on these findings, and demonstrate that it can effectively and accurately extract game events using open access Twitter data. SportSense has been evolving during the 2010-11 and 2011-12 NFL seasons and is able to recognize NFL game big plays in 30 to 90 seconds with 98% true positive, and 9% false positive rates. Using a smart electronic TV program guide, we show that SportSense can utilize human sensors to empower novel services.

연구 동기 및 목표

• 실시간으로 NFL 경기 이벤트를 트위터를 통해 인간이 감지한 데이터 자료로 활용하는 실시간 시스템을 개발하는 것.
• 경기 중 트윗 활동의 시간적 동역학, 즉 트윗 지연 및 게재 빈도 패턴을 이해하는 것.
• 라이브 스포츠 이벤트 동안의 경험적 트윗 행동 기반으로 새로운 이벤트 감지 방법을 설계하고 평가하는 것.
• 실생활 이벤트 감지에 대해 확장 가능하고 저비용의 감지 인프라로 소셜미디어를 활용할 수 있는지의 가능성을 입증하는 것.
• 스마트 전자 티비 프로그램 가이드와 같은 실용적 응용 분야에 시스템을 통합하여 시청자 경험을 향상시키는 것.

제안 방법

• 시스템은 공개 API를 통해 실시간 트위터 데이터를 수신하며, NFL 경기 기간 동안 지리적 태그가 되어 있고 키워드로 필터링된 트윗에 집중한다.
• 두 번의 NFL 시즌(2010–11 및 2011–12)에서의 경험적 측정 자료를 바탕으로, 트윗 지연 및 게재 빈도 행동을 경기 이벤트와 시간대에 따라 함수로 모델링한다.
• 갑작스러운 트윗 수 폭증과 시간적 군집을 기반으로 통계적 이벤트 감지 알고리즘을 설계하였으며, 거짓 양성률를 최소화하기 위해 임계값을 조정하였다.
• 이벤트 관련 폭발적 활동과 일반 대화 간의 차이를 구분하기 위해 시간적 스무딩과 배경 노이즈 필터링을 통합하였다.
• 역사적 기준에 기반한 동적 기준값을 도출하여, 슬라이딩 윈도우 방식으로 트윗 스트림을 모니터링하고 활동량이 기준을 초과할 경우 감지를 트리거한다.
• 감지 파이프라인은 실생활 적용 가능성을 입증하기 위해 프로토타입 스마트 TV 가이드에 통합되었다.

실험 결과

연구 질문

• RQ1 트윗 지연과 게재 빈도는 NFL 경기 중 어떻게 변화하며, 이러한 패턴에 영향을 미치는 요소는 무엇인가?
• RQ2 실시간 트위터 데이터는 터치다운이나 패널티와 같은 주요 경기 이벤트를 신뢰성 있게 감지하는 데에 활용될 수 있는가?
• RQ3 실시간 소셜미디어 기반 이벤트 감지 시스템에서 감지 속도와 정확도 사이의 최적의 균형은 무엇인가?
• RQ4 소셜미디어 활동의 시간적 동역학은 실제 경기 이벤트와 어떻게 상관관계가 있는가?
• RQ5 이러한 시스템은 인터랙티브 티비 서비스와 같은 실생활 응용 분야에 효과적으로 통합될 수 있는가?

주요 결과

• SportSense는 98%의 참 양성률로 NFL 경기 이벤트를 실시간으로 감지하여 높은 정확도를 확보한다.
• 시스템은 이벤트 발생 후 30~90초 이내로 주요 경기 이벤트를 식별하여 강력한 실시간성과 함께 빠른 반응을 보인다.
• 거짓 양성률는 9%로 낮게 유지되어 노이즈 및 비이벤트 관련 활동에 대해 뛰어난 강건성을 보인다.
• 트윗 게재 빈도의 급격한 증가가 경기 이벤트와 매우 높은 상관관계를 보이며, 정점 활동은 이벤트 발생 몇 초 이내에 발생한다.
• 90%의 이벤트 관련 트윗에서 게재 지연 시간은 일반적으로 30초 이내로, 거의 실시간 감지가 가능하다.
• 시스템의 성능은 여러 경기와 시즌에 걸쳐 안정적이며, 확장성과 신뢰성의 가능성을 확인한다.