[논문 리뷰] Human as Real-Time Sensors of Social and Physical Events: A Case Study of Twitter and Sports Games

Siqi Zhao, Lin Zhong외 2명|arXiv (Cornell University)|2011. 06. 21.

Video Analysis and Summarization참고 문헌 17인용 수 91

한 줄 요약

이 논문은 뉴스 방송 및 타겟 광고와 같은 실시간 미디어 가이던스 응용 분야를 위해 NFL 경기 사례 연구를 통해 사회적·물리적 사건을 탐지하기 위한 실시간 센서 네트워크로 트위터를 사용하는 것을 제안한다. 스트리밍 데이터와 이벤트 인식 알고리즘을 활용하여 시스템은 이벤트 발생 후 평균 40초 이내에 최대 90%의 정확도로 경기 이벤트를 탐지한다.

ABSTRACT

In this work, we study how Twitter can be used as a sensor to detect frequent and diverse social and physical events in real-time. We devise efficient data collection and event recognition solutions that work despite various limits on free access to Twitter data. We describe a web service implementation of our solution and report our experience with the 2010-2011 US National Football League (NFL) games. The service was able to recognize NFL game events within 40 seconds and with accuracy up to 90%. This capability will be very useful for not only real-time electronic program guide for live broadcast programs but also refined auction of advertisement slots. More importantly, it demonstrates for the first time the feasibility of using Twitter for real-time social and physical event detection for ubiquitous computing.

연구 동기 및 목표

• 트위터를 사회적·물리적 사건 탐지용 실시간 센서로 사용하는 가능성 탐색.
• 레이트 리밋과 데이터 가용성 제약으로 인한 실시간 데이터 접근 및 이벤트 탐지 과제 해결.
• 트위터 스트림을 활용한 다양한 이벤트 탐지를 위한 효율적이고 확장 가능한 시스템 개발.
• 실제 NFL 경기를 대상으로 실세계 환경에서 시스템 성능 평가.

제안 방법

• 저자들은 공개 API를 통해 레이트 제한에도 불구하고 실시간 트위터 스트림을 수신하는 웹 서비스를 설계하였다.
• 트윗의 시간적 패턴과 언어적 패턴을 기반으로 이벤트 마커를 식별하는 경량 이벤트 인식 파이프라인을 구현하였다.
• 터치다운 또는 타임아웃과 같은 경기 관련 이벤트를 탐지하기 위해 키워드 매칭, 시간적 클러스터링, 감성 분석의 조합을 사용하였다.
• 들어오는 트윗을 처리하기 위해 슬라이딩 윈도우 메커니즘을 도입하여 이벤트 급증을 탐지하고 노이즈를 줄였다.
• 저지연 처리를 최적화하여 이벤트 발생 후 40초 이내로 탐지 성능을 달성하였다.
• 시스템은 2010–2011 NFL 시즌 동안 구현되어 실제 경기 데이터를 활용해 검증하였다.

실험 결과

연구 질문

• RQ1 트위터는 물리적·사회적 사건 탐지용 실시간 센서로 효과적으로 활용될 수 있는가?
• RQ2 실제 데이터 접근 제약 조건 하에서 이벤트 탐지는 얼마나 정확하고 신속하게 달성될 수 있는가?
• RQ3 노이즈가 많고 고속도로 흐르는 소셜 미디어 스트림에서 신뢰할 수 있는 이벤트 인식을 가능하게 하는 기법은 무엇인가?
• RQ4 이러한 시스템은 실시간 미디어 가이던스 및 타겟 광고와 같은 실용적 응용을 지원할 수 있는가?
• RQ5 탐지 속도, 정확도, 시스템 확장성 간의 성능 트레이드오프는 어떠한가?

주요 결과

• 시스템은 이벤트 발생 평균 40초 이내로 NFL 경기 이벤트를 성공적으로 탐지하였다.
• 평가 단계에서 이벤트 탐지 정확도가 최대 90%에 도달하였다.
• 트위터 공개 API의 레이트 제한과 불완전한 데이터 접근에도 불구하고 시스템은 안정성을 유지하였다.
• 시간적 클러스터링과 언어 패턴 분석은 단순 키워드 매칭보다 탐지 정밀도를 크게 향상시켰다.
• 시스템은 확장성과 실시간 성능을 입증하여 생산 환경 구현에 적합함을 보였다.
• 본 연구는 트위터가 일상 컴퓨팅 응용 분야에서 실시간 센서로 활용 가능하다는 최초의 실증적 증거를 제공한다.