[논문 리뷰] The Early Bird Catches The Term: Combining Twitter and News Data For Event Detection and Situational Awareness

Nicholas Thapen, Donal Simmie외 1명|arXiv (Cornell University)|2015. 04. 09.

Data-Driven Disease Surveillance참고 문헌 20인용 수 6

한 줄 요약

이 논문은 실생활 사건을 탐지하고 상황 인식 요약을 생성하기 위해 트위터와 뉴스 데이터를 융합한 하이브리드 접근법을 제안한다. 지리적으로 위치가 지정된 트위터 데이터에서 사건 급증을 탐지하기 위해 수정된 생물감시 알고리즘을 사용하며, 뉴스 검색을 위한 관련 키워드를 필터링하고, 핵심 트윗과 뉴스 기사의 순위를 매겨, 사건 탐지에 F1 점수 0.9362를 달성하고 뉴스 연결에 높은 정밀도를 확보한다.

ABSTRACT

Twitter updates now represent an enormous stream of information originating from a wide variety of formal and informal sources, much of which is relevant to real-world events. In this paper we adapt existing bio-surveillance algorithms to detect localised spikes in Twitter activity corresponding to real events with a high level of confidence. We then develop a methodology to automatically summarise these events, both by providing the tweets which fully describe the event and by linking to highly relevant news articles. We apply our methods to outbreaks of illness and events strongly affecting sentiment. In both case studies we are able to detect events verifiable by third party sources and produce high quality summaries.

연구 동기 및 목표

• 실시간 트위터 스트림에서 신호 기반 이상 탐지 기법을 사용해 실생활 사건을 탐지하기 위해.
• 필터링된 트윗과 관련 뉴스 기사의 융합을 통해 고품질의 상황 인식 요약을 생성하기 위해.
• 기본 활동에서의 통계적 편차를 사용해 노이즈를 필터링함으로써 사건 탐지의 강건성을 향상시키기 위해.
• 질병 유행 외에도 유명인 사망과 같은 감정 기반 사건으로도 이 방법을 일반화하기 위해.
• 질병 유행과 고감정 사건에 대한 사례 연구를 통해 시스템의 효과성을 검증하기 위해.

제안 방법

• 트윗 수의 급격한 증가를 탐지하기 위해 중앙편차(MAD) 기반의 새로운 필터링 메커니즘을 적용한 EARS 생물감시 알고리즘을 적용한다.
• 유의미한 통계적 유의성(α < 0.05)을 사용해 기본 빈도에서 벗어난 용어를 식별하고, 이벤트를 가장 잘 대표하는 용어를 선별한다.
• 추출된 유의미한 용어를 사용해 이벤트 트윗을 필터링하여 요약을 위한 집중적인 트윗 세트를 생성한다.
• 정밀도 가중치 기반 방법을 사용해 뉴스 기사의 순위를 매겨, 각 이벤트당 최대 5개의 관련성이 높은 기사를 검색한다.
• 용어 빈도와 이벤트에 대한 관련성에 기반해 트윗을 순위 매겨 간결한 요약 목록을 생성한다.
• OpenCalais와 코사인 유사도를 사용해 트윗과 뉴스 간의 명시적 실체 및 내용 유사도를 비교함으로써 뉴스의 관련성을 검증한다.

실험 결과

연구 질문

• RQ1 공중보건 분야에서 유래한 생물감시 알고리즘을 실생활 사건에 대응하는 국지적 트위터 활동 급증에 효과적으로 적용할 수 있는가?
• RQ2 이벤트 트윗에서 유의미한 용어를 자동으로 추출하면 뉴스 검색 정확도가 어떻게 향상되는가?
• RQ3 필터링된 트윗과 뉴스 기사 순위 매기기가 인간 검증 기반의 정확한 상황 인식 요약을 얼마나 잘 생성할 수 있는가?
• RQ4 질병 유행과 유명인 사망과 같은 감정 기반 사건을 포함한 다양한 사건 유형에 대해 시스템의 성능은 어떠한가?
• RQ5 트위터와 뉴스 데이터의 통합이 잘못 탐지되는 경우를 줄이고 사건의 맥락 이해를 향상시키는 데 기여하는가?

주요 결과

• 사건 탐지 방법은 테스트 데이터셋에서 F1 점수 0.9362를 달성하여 실생활 사건 탐지의 높은 정밀도와 재현율을 보였다.
• 뉴스 연결 시스템은 거짓 경고가 없이 F0.5 점수 0.79를 기록하여 관련 뉴스 기사 검색의 높은 정밀도를 입증했다.
• 필터링된 트윗 중 상위 5개가 인간 코드화된 요약과 26건 중 21건에서 완전히 일치하여 이벤트 내용과 강한 일치를 보였다.
• 시스템은 질병 유행 뿐 아니라 로빈 윌리엄스의 사망과 같은 감정 기반 사건까지도 성공적으로 탐지하고 요약했으며, 이 경우 μmax는 20, 총 트윗 수는 4,472건이었다.
• 중앙값 기반의 MAD 필터링은 특히 증상 기반 트윗 스트림에서 비정규 분포 데이터에 대해 강건한 성능을 보였다.
• 이 방법은 질병 탐지 외에도 감정 및 키워드 분석을 통해 유명인 사망 및 주요 스포츠 이벤트와 같은 고영향 사건을 효과적으로 식별하는 데 잘 일반화되었다.