[논문 리뷰] Time Series Methods and Ensemble Models to Nowcast Dengue at the State Level in Brazil

Katherine Kempfert, Kaitlyn Martinez외 9명|arXiv (Cornell University)|2020. 06. 03.

Mosquito-borne diseases and control참고 문헌 72인용 수 4

한 줄 요약

이 연구는 브라질의 주 수준에서 지속적인 감시, 기상, 위성 영상, 인터넷 검색 트렌드를 포함한 통합 데이터 스트림을 사용하여 지수 시계열 및 앙상블 모델을 개발하고 평가하여 지도 기반 지수 예측을 수행한다. 높은 정확도를 달성하였으며, 25개 주에서 80% 이상의 상관관계를 기록하고 전체 27개 주 평균 상관관계가 91.75%에 이를 정도로, 외부 데이터가 예측 성능을 크게 향상시키고 앙상블 방법이 실시간 공중보건 의사결정의 정교함과 신뢰성을 높인다는 것을 입증한다.

ABSTRACT

Predicting an infectious disease can help reduce its impact by advising public health interventions and personal preventive measures. Novel data streams, such as Internet and social media data, have recently been reported to benefit infectious disease prediction. As a case study of dengue in Brazil, we have combined multiple traditional and non-traditional, heterogeneous data streams (satellite imagery, Internet, weather, and clinical surveillance data) across its 27 states on a weekly basis over seven years. For each state, we nowcast dengue based on several time series models, which vary in complexity and inclusion of exogenous data. The top-performing model varies by state, motivating our consideration of ensemble approaches to automatically combine these models for better outcomes at the state level. Model comparisons suggest that predictions often improve with the addition of exogenous data, although similar performance can be attained by including only one exogenous data stream (either weather data or the novel satellite data) rather than combining all of them. Our results demonstrate that Brazil can be nowcasted at the state level with high accuracy and confidence, inform the utility of each individual data stream, and reveal potential geographic contributors to predictive performance. Our work can be extended to other spatial levels of Brazil, vector-borne diseases, and countries, so that the spread of infectious disease can be more effectively curbed.

연구 동기 및 목표

• 지속적인 감시, 기상, 위성 영상, 인터넷 검색 트렌드를 포함한 다양한 데이터 스트림을 통합하여 브라질에서 실시간 지도 기반 지수 예측의 정밀도를 향상시키기.
• 기존의 지속적인 감시 및 기상 데이터와 비교하여, 새로운 데이터 스트림(예: 위성 및 인터넷 데이터)의 예측 기여도를 평가하기.
• 다양한 시계열 모델을 조합하여 예측의 강건성과 정확도를 향상시키는 앙상블 모델링 접근법을 개발하고 검증하기.
• 브라질의 주 수준에서 모델 성능 편차와 관련된 지리적 및 사회경제적 요인을 규명하기.
• 다양한 에피데미올로지적 및 환경 조건을 가진 브라질의 27개 주에 대해 일반화 가능한 이식 가능한 프레임워크를 제공하기.

제안 방법

• 브라질 보건부에서 제공하는 주간 지도 기반 환자 수와 외부 변수 데이터를 결합: 위성에서 유도된 식생 및 기온 지표, 기상 데이터, 인터넷 검색 쿼리 빈도.
• 각 주별로 네 가지 시계열 모델을 적용: SARIMA, VAR, 국소 회귀(LOESS)를 적용한 STL 분해, 및 이들의 변형 모델로, 각각 다른 외부 변수 조합을 포함.
• 개별 모델의 예측을 조합하기 위해 절단 평균 앙상블 방법을 사용하며, 상위 및 하위 20%의 예측값을 제거하여 외곽치의 영향을 최소화.
• 검증 성능에서 유도된 가중치를 사용한 가중 평균 앙상블을 적용—가중치는 검증 세트에서 각 모델이 절대 오차를 최소화하는 빈도에 비례.
• 예측 구간의 보수적 계산을 위해 절단된 모델 집합의 예측 구간 경계값 중 최소값과 최대값을 취함.
• 2015–2016년 테스트 윈도우에서 모델을 검증하며, 주요 평가 지표로 피어슨 상관계수와 예측 구간의 실질적 커버리지 사용.

실험 결과

연구 질문

• RQ1 기존 데이터 스트림(예: 위성, 기상, 인터넷)과 비기존 데이터 스트림의 다양한 조합이 브라질 주 수준의 지도 기반 지수 예측 정확도에 어떤 영향을 미치는가?
• RQ2 다양한 브라질 주에서 지도 기반 지수 예측에 가장 잘 작동하는 시계열 모델은 무엇이며, 최적의 모델이 공간적으로 어떻게 변화하는가?
• RQ3 실시간 지도 기반 지수 예측에서 개별 모델 대비 앙상블 모델이 예측 성능과 신뢰성에 얼마나 기여하는가?
• RQ4 브라질 주 수준에서 모델 성능 편차와 관련된 주요 사회경제적 및 지리적 요인은 무엇인가?
• RQ5 단일의 통합 앙상블 프레임워크가 브라질의 27개 주에서 다양하게 변화하는 에피데미올로지적 및 환경 조건에 효과적으로 일반화될 수 있는가?

주요 결과

• 절단 평균 앙상블은 2015–2016년 테스트 윈도우 기간 동안 브라질 전역 27개 주에서 예측된 지도 기반 환자 수와 관측된 수치 간 평균 피어슨 상관계수 91.75%를 달성하였다.
• 27개 주 중 25개 주에서 절단 평균 앙상블을 사용하여 피어슨 상관계수 80% 이상을 기록하였으며, 최고 상관계수는 한 주에서 96.44%에 달하였다.
• 95% 예측 구간은 절반 이상의 주에서 최소 96%의 실질적 커버리지를 확보하여 신뢰할 수 있는 불확실성 정량화를 보여주었다.
• 특히 기상 또는 위성에서 유도된 환경 변수를 포함한 외부 데이터 통합이 모델 성능 향상에 기여하였으며, 단일 데이터 스트림만 포함해도 모든 데이터 스트림을 사용한 경우와 유사한 성능을 달성하는 경우가 많았다.
• 모델 성능는 공간적 자기상관성을 보이며, 교육, 고용, 인구 규모와 같은 주 수준 지표와 정적 상관관계를 보였다.
• 최적의 개별 모델은 주별로 달라지며, 이는 각 지역에 맞는 강건한 지도 기반 예측을 달성하기 위해 사전에 최적의 모델을 알지 못하더라도 앙상블 방법의 사용이 타당하다는 것을 뒷받침한다.