[논문 리뷰] Predicting the Flu from Instagram

Oguzhan Gencoglu, Miíkka Ermes|arXiv (Cornell University)|2018. 11. 27.

Data-Driven Disease Surveillance참고 문헌 27인용 수 5

한 줄 요약

이 연구는 핀란드의 공개된 인스타그램 데이터—텍스트, 해시태그, 딥 컨volution 네트워크를 통한 이미지 콘텐츠 포함—를 활용해 인플루엔자 유사 질환(ILI) 발생을 실시간 예측하고 예측하는 머신러닝 파이프라인을 제안한다. 317주 간의 데이터를 사용하여, 최고의 모델은 실시간 예측에서 평균 절대 오차(MAE) 11.33과 상관계수 0.963을 기록했으며, 이는 소셜 미디어의 시각적 콘텐츠가 인포데미올로지 분야에서 예측 정확도를 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Conventional surveillance systems for monitoring infectious diseases, such as influenza, face challenges due to shortage of skilled healthcare professionals, remoteness of communities and absence of communication infrastructures. Internet-based approaches for surveillance are appealing logistically as well as economically. Search engine queries and Twitter have been the primarily used data sources in such approaches. The aim of this study is to assess the predictive power of an alternative data source, Instagram. By using 317 weeks of publicly available data from Instagram, we trained several machine learning algorithms to both nowcast and forecast the number of official influenza-like illness incidents in Finland where population-wide official statistics about the weekly incidents are available. In addition to date and hashtag count features of online posts, we were able to utilize also the visual content of the posted images with the help of deep convolutional neural networks. Our best nowcasting model reached a mean absolute error of 11.33 incidents per week and a correlation coefficient of 0.963 on the test data. Forecasting models for predicting 1 week and 2 weeks ahead showed statistical significance as well by reaching correlation coefficients of 0.903 and 0.862, respectively. This study demonstrates how social media and in particular, digital photographs shared in them, can be a valuable source of information for the field of infodemiology.

연구 동기 및 목표

• 인스타그램 데이터—특히 그 시각적 콘텐츠—의 예측 능력이 인플루엔자 유사 질환(ILI) 발생을 모니터링하고 예측하는 데 얼마나 효과적인지 평가하기 위해.
• 의료 인력 부족과 원거리 지역의 인프라 격차 등 기존 감시 시스템의 한계를 해결하기 위해.
• 딥 러닝 모델이 인스타그램 이미지와 텍스트에서 전염병학적으로 관련 있는 신호를 효과적으로 추출할 수 있는지 탐색하기 위해.
• 실시간 예측(현재 주 추정)과 1~2주 예측을 위한 공식 ILI 통계에 대해 여러 머신러닝 알고리즘을 비교하기 위해.

제안 방법

• 핀란드에서 317주 간의 공개된 인스타그램 데이터를 수집하였으며, 핀란드어로 인플루엔자와 관련된 키워드를 포함한 게시물을 중심으로 하였다.
• 시간적 특징(날짜), 텍스트적 특징(해시태그 수), 그리고 이미지 콘텐츠를 위한 사전 훈련된 딥 컨volution 네트워크(ResNet-50)를 사용해 시각적 특징을 추출하였다.
• 사용자 게시물에서 관련 시각적 패턴을 식별하고 추출하기 위해, 4개의 기준 이미지(예: 기침, 발열, 독감 증상 등)를 사용해 이미지 유사도 검색을 수행하였다.
• 실시간 예측 및 예측 작업을 위해 XGBoost, LightGBM, LSTM 네트워크를 포함한 총 9종의 머신러닝 모델을 훈련하고 비교하였다.
• 모델 성능 평가를 위해 테스트 데이터에서 상관계수 및 평균 절대 오차(MAE)를 평가 지표로 사용하였다.
• 특징 중요도 분 析를 통해 시각적 특징이 다른 입력 특징 대비 기여도를 정량화하였으며, 그 결과 시각적 콘텐츠가 예측에 12.1% 기여했다.

실험 결과

연구 질문

• RQ1 공개된 인스타그램 이미지 및 텍스트 데이터가, 신뢰할 수 있는 감시 데이터를 보유한 국가에서 실질적인 인플루엔자 유사 질환(ILI) 발생을 효과적으로 예측하는 데 사용될 수 있는가?
• RQ2 딥 러닝을 통해 추출한 인스타그램 이미지의 시각적 특징이, 텍스트 및 시간적 특징만을 사용한 경우에 비해 ILI 예측 모델의 정확도를 얼마나 향상시키는가?
• RQ3 이미지 콘텐츠의 포함 여부가 실시간 예측 및 단기 예측의 머신러닝 모델 성능에 어떻게 영향을 미치는가?
• RQ4 한국어가 아닌 단일 언어(핀란드어)와 단일 국가(핀란드) 데이터로 훈련된 모델이 다른 지역으로 일반화 가능한가? 이 접근법의 한계는 무엇인가?

주요 결과

• 최고의 실시간 예측 모델은 주당 평균 절대 오차(MAE) 11.33건과 공식 ILI 데이터와의 상관계수 0.963을 기록하였다.
• 1주 및 2주 예측을 위한 예측 모델은 각각 상관계수 0.903과 0.862를 기록하여 통계적으로 유의미한 성능을 보였다.
• 이미지 특징을 통합함으로써 테스트 MAE가 13.83에서 11.33로 감소하여, 시각적 콘텐츠의 기여로 성능 향상이 명백히 확인되었다.
• 특징 중요도 분 析를 통해 이미지 특징이 총 예측 능력의 12.1% 기여했다.
• 이미지 유사도 검색에 사용된 4개의 기준 이미지 집합이 제한되어 있어, 더 넓고 다양한 기준 이미지 세트를 사용할 경우 성능 향상이 가능할 것으로 보인다.
• 본 연구는 소셜 미디어 이미지에 대해 딥 러닝을 적용해 인플루엔자 유행을 예측하는 것이 가능함을 처음으로 입증하였으며, 인포데미올로지 분야에 새로운 데이터 원천을 제시한다.