[논문 리뷰] Why is it Difficult to Detect Sudden and Unexpected Epidemic Outbreaks in Twitter?

Avaré Stewart, Sara Romano-Bertrand외 6명|arXiv (Cornell University)|2016. 11. 10.

Data-Driven Disease Surveillance참고 문헌 26인용 수 3

한 줄 요약

이 논문은 트위터에서 돌연하고 예측할 수 없는 유행병 발병을 탐지하는 과제를 다루며, 동적 분류, 시계열 경고 생성, 개인화된 랭킹을 결합한 트위터 기반 유행병 감시 시스템을 제안한다. 연구는 일반적인 유행병은 탐지 가능하지만, 노이즈로 인해 고진동, 고강도 시계열 데이터는 여전히 분석하기 어려운 점을 입증하며, 전문가 평가 효율성을 향상시키기 위해 커뮤니티 기반 레이블링과 맥락 인식 랭킹을 활용한 준지도 학습 접근법을 제안한다.

ABSTRACT

Social media services such as Twitter are a valuable source of information for decision support systems. Many studies have shown that this also holds for the medical domain, where Twitter is considered a viable tool for public health officials to sift through relevant information for the early detection, management, and control of epidemic outbreaks. This is possible due to the inherent capability of social media services to transmit information faster than traditional channels. However, the majority of current studies have limited their scope to the detection of common and seasonal health recurring events (e.g., Influenza-like Illness), partially due to the noisy nature of Twitter data, which makes outbreak detection and management very challenging. Within the European project M-Eco, we developed a Twitter-based Epidemic Intelligence (EI) system, which is designed to also handle a more general class of unexpected and aperiodic outbreaks. In particular, we faced three main research challenges in this endeavor: 1) dynamic classification to manage terminology evolution of Twitter messages, 2) alert generation to produce reliable outbreak alerts analyzing the (noisy) tweet time series, and 3) ranking and recommendation to support domain experts for better assessment of the generated alerts. In this paper, we empirically evaluate our proposed approach to these challenges using real-world outbreak datasets and a large collection of tweets. We validate our solution with domain experts, describe our experiences, and give a more realistic view on the benefits and issues of analyzing social media for public health.

연구 동기 및 목표

• 트위터에서 갑작스럽고 예측 불가능한 유행병 발병을 탐지하는 데 어려움이 존재하는 이유는 일반적으로 노이즈와 용어 변화로 인해 발생하므로 이를 해결하고자 한다.
• 계절성이나 반복성의 질병이 아닌, 비정기적이고 비계절적인 유행병까지도 처리할 수 있는 강력한 유행병 감시(Epidemic Intelligence, EI) 시스템을 개발하고자 한다.
• 공중보건 전문가의 정보 과부하 문제를 줄이기 위해, 유행병 경고와 연관된 관련 트윗을 맥락적 특징을 기반으로 랭킹화하고 추천함으로써 전문가 평가 효율성을 높이고자 한다.
• 도메인 전문가와 실제 유행병 데이터를 활용해 시스템을 평가함으로써, 사회적 미디어가 공중보건 감시에 실제로 얼마나 유용한지 실질적인 평가를 제공하고자 한다.

제안 방법

• 트위터의 용어 변화에 적응하기 위해 준지도 학습 기반 동적 분류를 적용하며, 지속적인 분류기 성능 유지 목적으로 커뮤니티 기반 레이블링을 활용한다.
• 트윗 패턴을 진동성과 강도 기반으로 네 가지 범주로 분류하는 시계열 분석 프레임워크를 구현하여 경고 생성을 안내한다.
• 트윗 내용의 특징 변화를 탐지하는 새로운 알고리즘을 도입하여, 새로 샘플링된 인간 레이블 데이터로 재학습을 유도함으로써 관련성 탐지 성능을 향상시킨다.
• 소셜 해시태그와 잠재 주제를 통합한 개인화된 랭킹 기법을 적용하여 전문가 검토를 위한 고신호 트윗을 우선순위로 배치한다.
• 다단계 EI 파이프라인 설계: (1) 관련성에 대한 동적 분류, (2) 시계열 군집 기반 경고 생성, (3) 전문가 평가를 위한 맥락 인식 랭킹.
• 실제 유행병 데이터셋과 전문가 피드백을 활용해 시스템을 검증함으로써 실생활 공중보건 환경에서의 실용성과 성능을 평가한다.

실험 결과

연구 질문

• RQ1 왜 트위터에서 돌연하고 예측 불가능한 유행병 발병을 탐지하는 것이 어렵고, 특히 계절성 또는 반복적인 건강 이벤트와 비교할 때 어떤 어려움이 존재하는가?
• RQ2 사회 미디어 데이터의 용어 변화와 의미의 이동을 다루기 위해 동적 분류 기법을 어떻게 효과적으로 적용할 수 있는가?
• RQ3 트윗 수의 시계열 패턴 중 경고 생성에 가장 어려운 유형은 무엇이며, 어떻게 이를 구분할 수 있는가?
• RQ4 해시태그와 잠재 주제를 기반으로 한 개인화된 랭킹이 유행병 경고 전문가 평가의 효율성을 얼마나 향상시킬 수 있는가?
• RQ5 특히 높은 재현율을 우선시할 경우, 전문가 레이블이 없는 상황에서 커뮤니티 기반 레이블링이 분류기 학습에 충분한 품질을 확보할 수 있는가?

주요 결과

• 정기적으로 업데이트되는 커뮤니티 레이블 기반 준지도 학습 기반 동적 분류는 높은 재현율과 만족스러운 정밀도를 달성하여 전문가 레이블 데이터의 실질적 대안이 될 수 있다.
• 시스템은 트윗의 용어 변화에 성공적으로 대응하고 적응함으로써 언어 사용의 변화가 있더라도 유행병 관련 콘텐츠를 탐지할 수 있도록 한다.
• 네 가지의 명확한 시계열 패턴을 식별함: 저진동/고강도(쉽게 탐지 가능), 저량(직접 경고로 활용 가능), 고진동/고강도(노이즈로 인해 가장 분석이 어려움).
• 고진동, 고강도 시계열 패턴은 여전히 신뢰할 수 있게 분석하기 가장 어려운 편으로, 노이즈와 불완전한 데이터를 다룰 수 있는 더 강력한 알고리즘이 필요함을 시사한다.
• 해시태그와 잠재 주제를 기반으로 한 개인화된 랭킹은 관련성이 높은 트윗을 우선순위로 배치함으로써 전문가의 인지 부담을 크게 감소시킨다.
• 전문가 검증 결과, 시스템은 사회 미디어 기반 유행병 감시를 위한 현실적이고 실용적인 프레임워크를 제공함을 확인했지만, 복잡한 시계열 패턴에서의 경고 생성은 여전히 개선이 필요하다.