[논문 리뷰] Flu Detector: Estimating influenza-like illness rates from online user-generated content

Vasileios Lampos|arXiv (Cornell University)|2016. 12. 11.

Data-Driven Disease Surveillance참고 문헌 17인용 수 4

한 줄 요약

Flu Detector는 영국의 인플루엔자 유사 질환(ILI) 유병률을 실시간으로 추정하는 온라인 플랫폼으로, 구글 검색 및 트위터 데이터를 활용하여 고도화된 통계적 자연어 처리(NLP) 모델을 적용해 실제 질병 추세를 파악한다. 이 플랫폼은 네 차례의 인플루엔자 시즌 동안 공식 RCGP 감시 데이터와 상관관계가 0.95이고, 10만 명당 평균 절대오차가 1.5인 높은 정확도를 달성한다.

ABSTRACT

We provide a brief technical description of an online platform for disease monitoring, titled as the Flu Detector (fludetector.cs.ucl.ac.uk). Flu Detector, in its current version (v.0.5), uses either Twitter or Google search data in conjunction with statistical Natural Language Processing models to estimate the rate of influenza-like illness in the population of England. Its back-end is a live service that collects online data, utilises modern technologies for large-scale text processing, and finally applies statistical inference models that are trained offline. The front-end visualises the various disease rate estimates. Notably, the models based on Google data achieve a high level of accuracy with respect to the most recent four flu seasons in England (2012/13 to 2015/16). This highlighted Flu Detector as having a great potential of becoming a complementary source to the domestic traditional flu surveillance schemes.

연구 동기 및 목표

• 영국의 인플루엔자 유사 질환(ILI) 유병률을 온라인 사용자 생성 콘텐츠를 활용해 실시간으로, 공개적으로 모니터링할 수 있는 시스템을 개발하는 것.
• 구글 인플루엔자 트렌드와 같은 이전 시스템의 한계를 극복하기 위해 고도화된 NLP 기법을 통해 모델 정확도와 신뢰성을 향상시키는 것.
• 伝통적 신회성 보고와 통합 가능한 보완적이고 데이터 기반의 공중보건 감시 도구를 제공하는 것.
• 공중보건국(Public Health England, PHE)과의 협업을 통해 플랫폼의 성능을 평가하고, 향후 국가 인플루엔자 감시 보고서에 통합 가능한지 검토하는 것.
• 향후 작업에서 지역별 추정, 인구 통계적 분류, 다양한 전염병 지원 기능을 포함한 시스템 기능을 확장하는 것.

제안 방법

• Flu Detector는 영국에서의 지리적 태그가 부여된 검색 쿼리와 트윗을 사용해 트위터 스트리밍 API와 비공개 구글 헬스 트렌드 API로부터 실시간 데이터를 수신한다.
• 기존의 RCGP 보고 기반 ILI 유병률 데이터를 기반으로 훈련된 지도 학습 모델을 적용하며, 텍스트 데이터 표현에 백오브워즈 및 신경망 단어 임베딩을 사용한다.
• 공식 감시 보고 주기와 일치시키기 위해 데이터를 주단위로 처리하며, 각 추정치에 대해 검색 및 트윗 빈도를 7일 간격으로 사용한다.
• 트위터 데이터의 경우, 지리적 위치가 부여된 트윗의 소수(약 1–2%)에 모델을 적용하여 노이즈가 많은 추정치를 도출하고, 이를 사용자 시각화를 위해 스무딩 처리한다.
• 통계적 추론 모델은 오프라인에서 훈련되어 매일 및 매주 ILI 유병률 추정치를 생성하며, RCGP 데이터와의 성능을 검증한다.
• 플랫폼은 분산 텍스트 처리를 위해 Apache Hadoop를 사용하고, NLP 및 수치 계산을 위해 표준 파이썬 라이브러리(gensim, nltk, numpy 등)를 활용한다.

실험 결과

연구 질문

• RQ1 영국에서 구글 검색 및 트위터 데이터를 기반으로 실시간으로 인플루엔자 유사 질환(ILI) 유병률을 정확하게 추정할 수 있는가?
• RQ2 구글 검색 기반 모델의 성능은 공식 감시 데이터와 비교해 상관관계와 오차 측면에서 어떻게 평가되는가?
• RQ3 NLP 기반 모델은 이전의 시스템인 구글 인플루엔자 트렌드에 비해 신뢰성과 정확도를 향상시킬 수 있는가?
• RQ4 소셜 미디어 및 검색 엔진에서 생성된 사용자 콘텐츠가 국가 수준의 공중보건 감시에서 얼마나 유용한 보완 지표가 될 수 있는가?
• RQ5 트위터 기반 ILI 추정의 한계는 낮은 데이터 볼륨으로 인한 것으로, 스무딩 기법은 이를 어떻게 완화할 수 있는가?

주요 결과

• 구글 검색 기반 모델은 네 차례의 인플루엔자 시즌(2012/13~2015/16) 동안 주간 ILI 유병률 추정에서 10만 명당 평균 절대오차 1.5를 기록했다.
• 구글 검색 모델은 공식 RCGP ILI 감시 데이터와 피어슨 상관계수 0.95를 기록하여 실제 값과 강한 일치를 보였다.
• 트위터 기반 모델은 낮은 데이터 볼륨(지리적 위치가 부여된 트윗의 약 1–2%)으로 인해 추정치가 불안정했지만, 스무딩 처리된 버전을 제공해 사용성 향상을 도모했다.
• 플랫폼은 전통적 감시 방법과의 보완 도구로서의 가능성은 성공적으로 입증되었으며, 평가 결과는 PHE의 주간 인플루엔자 보고서에 통합될 가능성을 뒷받침했다.
• 신경망 단어 임베딩을 포함한 현대적 NLP 기법을 활용해 특징 표현 및 모델 일반화 능력을 향상시켜 이전 모델보다 뛰어난 성능을 달성했다.
• 이 플랫폼은 영국에 대해 구글 검색 기반 ILI 추정치를 제공하는 최초의 시스템으로, 구글 인플루엔자 트렌드의 중단으로 생긴 공백을 메웠다.