[논문 리뷰] Epidemic Intelligence for the Crowd, by the Crowd (Full Version)

Ernesto Diaz-Aviles, Avaré Stewart외 3명|arXiv (Cornell University)|2012. 03. 06.

Data-Driven Disease Surveillance참고 문헌 19인용 수 7

한 줄 요약

이 논문은 갑작스럽고 비계절성 전염병 유행 발생 시에 잠재적 의미 주제(LDA)와 사회적 해시태그 행동을 활용하여 관련 트윗을 우선순위 정렬하는 개인화된 랭킹 시스템 PTR4EI를 제안한다. 이는 메디시스(MedISys)와 같은 기존 시스템보다 하루 빨리 2011년 EHEC/HUS 유행을 탐지함으로써 비정기적 유행에 대한 조기 경고를 가능하게 하며, 공중보건 관계자들에게 맥락 인식 기반의 랭크된 트윗 목록을 제공하여 유행 분석을 효율적으로 수행할 수 있도록 한다.

ABSTRACT

Tracking Twitter for public health has shown great potential. However, most recent work has been focused on correlating Twitter messages to influenza rates, a disease that exhibits a marked seasonal pattern. In the presence of sudden outbreaks, how can social media streams be used to strengthen surveillance capacity? In May 2011, Germany reported an outbreak of Enterohemorrhagic Escherichia coli (EHEC). It was one of the largest described outbreaks of EHEC/HUS worldwide and the largest in Germany. In this work, we study the crowd's behavior in Twitter during the outbreak. In particular, we report how tracking Twitter helped to detect key user messages that triggered signal detection alarms before MedISys and other well established early warning systems. We also introduce a personalized learning to rank approach that exploits the relationships discovered by: (i) latent semantic topics computed using Latent Dirichlet Allocation (LDA), and (ii) observing the social tagging behavior in Twitter, to rank tweets for epidemic intelligence. Our results provide the grounds for new public health research based on social media.

연구 동기 및 목표

• 갑작스럽고 비계절성 전염병 유행 발생 시 기존 공중보건 감시 시스템에서 발생하는 지연된 조기 경고 문제를 해결한다.
• 특히 트위터를 포함한 소셜 미디어가 전통적인 역학 감시 체계의 실시간 보완 수 Mittel로 활용될 잠재력을 탐색한다.
• 유행 발생 기간 동안 방대한 양의 소셜 미디어 데이터를 효율적으로 분석할 수 있도록 도와주는 개인화된 랭킹 접근법을 개발한다.
• 잠재적 주제(LDA)와 사회적 태그 행동을 활용하여 사용자 맥락을 풍부화하고 역학 감시에서의 관련성 향상을 연구한다.

제안 방법

• 2011년 EHEC/HUS 유행 기간 동안 트위터 API를 통해 수집한 실시간 트위터 데이터에 표준 생보수비전 알고리즘(Pelt, C-Pelt 등)을 적용하였다.
• 트윗 내용에서 잠재적 의미 주제를 추출하기 위해 잠재적 디리히레트 분포(LDA)를 활용하여 关련 주제를 키워드를 초월한 의미적 맥락으로 포착하였다.
• 특히 해시태그 사용을 통해 사용자 관심도와 커뮤니티 수준의 토론 동향을 신호로 통합하였다.
• LDA 주제, 해시태그 패턴, 트위터 전용 특징(예: 사용자 권위도, 재트윗 빈도 등)을 결합한 개인화된 러닝-투-랭크 모델(PTR4EI)을 개발하였다.
• 공중보건 전문가의 관련성 피드백을 활용해 모델을 훈련시켜 유행 조사 및 위험 평가에 가장 관련성이 높은 트윗을 우선순위로 정렬하였다.
• 정규화된 할당 누적 이득(nDCG)과 같은 지표를 사용해 모델 성능을 평가하였으며, 기준 방법 대비 뛰어난 랭킹 효과성을 입증하였다.

실험 결과

연구 질문

• RQ1 트위터 데이터만으로도 메디시스(MedISys)와 같은 기존 시스템보다 조기 유행 탐지 신호를 이르기 전에 발동시킬 수 있는가?
• RQ2 잠재적 의미 주제(LDA)와 사회적 해시태그 행동이 공중보건 의사결정에 있어 랭크된 트윗의 관련성에 어느 정도 기여하는가?
• RQ3 개인화된 러닝-투-랭크 접근법이 막대한 유행 사건 동안 정보 과부하를 효과적으로 줄여 맥락적으로 관련성 있는 트윗을 우선순위로 정렬할 수 있는가?
• RQ4 비계절성 갑작스러운 유행 발생 상황에서 트위터 기반 조기 경고 시스템의 성능이 전통적 감시 시스템보다 어떻게 비교되는가?
• RQ5 소셜 미디어 스트림은 복잡한 유행 발생 상황에서 오염 원인과 전파 경로에 대한 실질적인 통찰을 제공할 수 있는가?

주요 결과

• 표준 생보수비전 방법을 트위터 데이터에 적용한 결과, 모두 2011년 5월 20일에 경고를 발동하였으며, 이는 메디시스 시스템보다 하루 빠른 것으로, 조기 경고 잠재력을 입증하였다.
• PTR4EI 개인화 랭킹 모델은 nDCG 측정 기준으로 기준 랭킹 방법보다 유의미하게 뛰어난 성능을 보였으며, 공중보건 전문가에게 가장 관련성이 높은 상위 트윗의 관련성 높음을 시사하였다.
• LDA를 통해 유도된 잠재적 주제들은 증상, 식품 원천, 건강 우려 등 유행 관련 핵심 주제를 포괄하여 트윗의 맥락 이해를 풍부하게 하였다.
• 해시태그 행동(예: #EHEC, #Durchfall)은 공중의 우려와 커뮤니티 수준의 토론을 강력한 지표로 제공하여 모델의 관련 콘텐츠 식별 능력을 향상시켰다.
• 공중보건 관계자들이 맥락 인식 기반의 우선순위 정렬된 트윗 목록을 제공받아 정보 과부하를 효과적으로 줄였으며, 유행 분석의 효율성이 향상되었다.
• 본 연구는 독일처럼 트윗 밀도가 낮은 국가에서도 트위터가 역학 감시를 위한 실시간 데이터 소스로 유의미하게 기능할 수 있음을 확인하였다.