[논문 리뷰] OMG U got flu? Analysis of shared health messages for bio-surveillance

Nigel Collier, Nguyễn Trường Sơn외 1명|2011. 10. 13.

Misinformation and Its Impacts인용 수 13

한 줄 요약

이 논문은 트위터 메시지에서 보고된 자기 보호적 건강 행동—예를 들어, 군중을 피하거나 위생 수칙을 강화하는 것—을 전염병 확산의 실시간 지표로 사용할 것을 제안한다. 단일어, 이중어 및 정규표현식을 사용한 지도 학습을 통해 저자들은 트윗을 네 가지 보호 행동 카테고리와 진단 카테고리로 분류하였으며, 높은 상호 평가자 간 일致도(카파 = 0.86)를 달성하고 공식 WHO/NREVSS 인플루엔자 데이터와 중간 정도의 상관관계를 보이며, 사회 미디어가 전염병 확산에 대한 저비용 조기 경보 시스템으로 기능할 수 있음을 뒷받침한다.

ABSTRACT

Background: Micro-blogging services such as Twitter offer the potential to crowdsource epidemics in real-time. However, Twitter posts ('tweets') are often ambiguous and reactive to media trends. In order to ground user messages in epidemic response we focused on tracking reports of self-protective behaviour such as avoiding public gatherings or increased sanitation as the basis for further risk analysis. Results: We created guidelines for tagging self protective behaviour based on Jones and Salathé (2009)'s behaviour response survey. Applying the guidelines to a corpus of 5283 Twitter messages related to influenza like illness showed a high level of inter-annotator agreement (kappa 0.86). We employed supervised learning using unigrams, bigrams and regular expressions as features with two supervised classifiers (SVM and Naive Bayes) to classify tweets into 4 self-reported protective behaviour categories plus a self-reported diagnosis. In addition to classification performance we report moderately strong Spearman's Rho correlation by comparing classifier output against WHO/NREVSS laboratory data for A(H1N1) in the USA during the 2009-2010 influenza season. Conclusions: The study adds to evidence supporting a high degree of correlation between pre-diagnostic social media signals and diagnostic influenza case data, pointing the way towards low cost sensor networks. We believe that the signals we have modelled may be applicable to a wide range of diseases.

연구 동기 및 목표

• 소셜 미디어에서 자기 보호적 건강 행동을 식별하는 방법을 개발하여 전염병 유행의 조기 지표로 활용하는 것.
• 자기 진단이 아닌 행동 반응에 초점을 맞춰, 인플루엔자 관련 트윗의 모호성과 매체 영향을 완화하는 것.
• 트위터 데이터에서 보호 행동을 분류하기 위한 신뢰할 수 있는 애너테이션 프레임워크를 구축하는 것.
• 소셜 미디어 신호와 공식 인플루엔자 감시 데이터 간의 상관관계를 평가하는 것.

제안 방법

• 5,283개의 인플루엔자 관련 트윗에서 자기 보호 행동를 레이블링하기 위한 애너테이션 가이드라인을 Jones와 Salathé(2009)의 기반으로 개발.
• SVM 및 나이브 베이즈 분류기의 특징으로 단일어, 이중어 및 정규표현식을 사용한 지도 학습 적용.
• 트윗을 네 가지 보호 행동 카테고리와 한 가지 자가 보고된 진단 카테고리로 분류.
• Cohen의 카파를 사용하여 상호 평가자 간 일치도를 측정하여 높은 값인 0.86를 달성.
• 2009–2010 시즌 동안 분류기 출력 결과와 WHO/NREVSS의 랩터 확인된 A(H1N1) 데이터 간의 상관관계를 스피어만의 라이오 상관계수로 비교.
• 실시간 트위터 메시지의 정제된 코퍼스를 사용하여 행동 신호를 유행 추세의 대체 지표로 모델링.

실험 결과

연구 질문

• RQ1 자기 보호 행동이 소셜 미디어에 표현된 방식을 자연어 처리 기법을 통해 신뢰성 있게 탐지하고 분류할 수 있는가?
• RQ2 이러한 탐지된 행동 신호는 공식 인플루엔자 감시 데이터와 얼마나 잘 상관되는가?
• RQ3 소셜 미디어에서 자기 보호적 건강 행동를 애너테이션할 때 인간 애너테이터 간에 어떤 수준의 일致도를 달성할 수 있는가?
• RQ4 행동 반응 기반의 소셜 미디어 신호는 전통적인 질병 감시 시스템에 대한 저비용 대안이 될 수 있는가?
• RQ5 소셜 미디어에서의 보호 행동 추세는 공식 인플루엔자 환자 보고보다 얼마나 빨리 나타나는가?

주요 결과

• 애너테이션 체계는 Cohen의 카파 값 0.86을 기록하여 보호 행동 레이블링의 강력한 신뢰성을 보였다.
• 지도 학습 분류기(SVM 및 나이브 베이즈)는 네 가지 보호 행동 카테고리와 자가 보고된 진단 간에 효과적으로 구분을 하였다.
• 분류기 출력 결과와 공식 WHO/NREVSS A(H1N1) 랩터 확인된 데이터 간에 중간 정도이지만 통계적으로 유의미한 스피어만의 라이오 상관계수가 관찰되었다.
• 본 연구는 진단 이전의 소셜 미디어 신호가 행동 반응 기반으로 실제 질병 추세와 상관됨을 입증하였다.
• 결과적으로 소셜 미디어를 전염병 탐지용 저비용 실시간 센서 네트워크로 활용할 수 있음을 뒷받침한다.