[논문 리뷰] Event Detection in Twitter Stream using Weighted Dynamic Heartbeat Graph Approach

Zafar Saeed, Rabeeh Ayaz Abbasi외 2명|arXiv (Cornell University)|2019. 02. 22.

Complex Network Analysis Techniques참고 문헌 27인용 수 12

한 줄 요약

이 논문은 이동된 시간 주파수를 모델링하고 검출된 이벤트를 동적으로 억제하여 부상 중인 주제에 대한 민감도를 향상시키기 위해 실시간 트위터 스트림에서 이벤트 검출을 위한 가중 동적 심장박동 그래프(WDHG) 방법을 제안한다. 이 방법은 FA Cup 2012, 슈퍼 화요일 2012, 미국 선거 2012와 같은 벤치마크 데이터셋에서 초기 이벤트 관련 키워드를 검출하고 최신 기술 대비 정확도와 확장성을 향상시켜 뛰어난 성능을 달성한다.

ABSTRACT

Tweets about everyday events are published on Twitter. Detecting such events is a challenging task due to the diverse and noisy contents of Twitter. In this paper, we propose a novel approach named Weighted Dynamic Heartbeat Graph (WDHG) to detect events from the Twitter stream. Once an event is detected in a Twitter stream, WDHG suppresses it in later stages, in order to detect new emerging events. This unique characteristic makes the proposed approach sensitive to capture emerging events efficiently. Experiments are performed on three real-life benchmark datasets: FA Cup Final 2012, Super Tuesday 2012, and the US Elections 2012. Results show considerable improvement over existing event detection methods in most cases.

연구 동기 및 목표

• 급격한 변동성 기반 방법이 자주 간과하는 노이즈가 많고 동적인 트위터 스트림에서 부상 중인 저빈도 이벤트를 탐지하는 과제를 해결하기 위해.
• 실시간으로 변화하는 이벤트 패턴을 포착할 수 있는 변화 민감도가 높고 계산 효율성이 뛰어난 방법을 개발하기 위해.
• 초기 검출 후 고빈도 키워드를 억제함으로써 이벤트 탐지 정확도를 향상시켜 이후에 부상 중인 이벤트를 탐지할 수 있도록 하기 위해.
• 실제 세계의 벤치마크 데이터셋에서 방법을 평가하고 기존 최신 기술 대비 열등하지 않음을 입증하기 위해.

제안 방법

• 시간 간격 동안 마이크로 문서(트윗)를 집계하여 트위터 텍스트 스트림을 시간 초문서로 변환한다.
• 단어 빈도와 시간 간격 간의 공존 관계를 인코딩하는 가중 동적 심장박동 그래프(WDHG)를 구성한다.
• 심장박동 점수는 두 가지 특징을 사용하여 계산된다: 성장 요인(시간에 따른 빈도 변화)과 집계 중심성(그래프 내 단어의 중요성).
• 규칙 기반 분류기가 심장박동 점수를 기반으로 그래프를 이벤트 후보로 레이블링하며, 검출 후 고빈도 키워드에 대해 억제 조치를 취하여 새로운 이벤트가 가려지는 것을 방지한다.
• 이벤트 후보들을 융합하고 순위를 매겨 최종적으로 검출된 주제 목록을 도출한다.
• 정적 급격한 변동 강도가 아니라 동적인 변화에 중점을 두기 위해 이동된 시간 주파수를 사용하여 단어 빈도의 조기 변화를 탐지한다.

실험 결과

연구 질문

• RQ1 이벤트 탐지 시스템은 노이즈가 많은 트위터 스트림에서 어떻게 더 잘 부상 중인 저시야성 이벤트를 포착할 수 있는가?
• RQ2 검출된 급격한 변동 키워드를 억제하는 것이 이후에 부상 중인 이벤트 탐지에 얼마나 기여하는가?
• RQ3 이동된 시간 주파수를 추적하는 그래프 기반 방법이 실시간 트위터 스트림에서 전통적인 급격한 변동 기반 탐지보다 우월한가?
• RQ4 WDHG 접근법은 동적이고 비정적 데이터를 처리하면서도 계산 효율성과 확장성을 어떻게 유지하는가?

주요 결과

• WDHG 접근법은 FA Cup 2012, 슈퍼 화요일 2012, 미국 선거 2012와 같은 세 가지 실제 세계 벤치마크 데이터셋에서 최신 기술 대비 뛰어난 성능을 보였다.
• 이전에 검출된 급격한 변동 키워드를 억제함으로써 부상 중인 이벤트에 대한 민감도가 향상되어 이후 시간 간격에서 새로운 이벤트를 탐지할 수 있었다.
• 이 방법은 다항식 시간 복잡도를 달성하여 대규모 트위터 스트림에 대한 계산 효율성과 확장성을 확인했다.
• 실증적 평가를 통해 이동된 시간 주파수와 심장박동 점수의 사용이 이벤트 관련 키워드의 조기 탐지에 기여하는 것으로 확인되었다.
• 심장박동 점수 융합을 사용한 규칙 기반 분류기가 이벤트 후보를 성공적으로 순위 매기고 융합하여 전체 탐지 정확도를 향상시켰다.