[논문 리뷰] On the predictability of infectious disease outbreaks

Samuel V. Scarpino, Giovanni Petri|arXiv (Cornell University)|2017. 03. 21.

Evolution and Genetic Dynamics참고 문헌 54인용 수 4

한 줄 요약

이 연구는 10종의 역사적 질병을 대상으로 순열 엔트로피를 사용하여 예측 가능성을 모델에 의존하지 않는 척도로 측정함으로써 전염병 유행 예측의 기본 한계를 조사한다. 연구는 정확한 예측이 불가능해지는 통합 엔트로피 장벽이 존재함을 밝혀내지만, 대부분의 질병에서 이 장벽은 단일 유행 기간보다 훨씬 멀리 떨어져 있어, 신뢰할 수 있는 단기 및 중기 예측이 가능함을 시사한다. 특히 동적이고 데이터 기반의 모델이 변화하는 전파 역학과 사회적 네트워크의 이질성을 고려할 경우 더욱 그렇다.

ABSTRACT

Infectious disease outbreaks recapitulate biology: they emerge from the multi-level interaction of hosts, pathogens, and their shared environment. As a result, predicting when, where, and how far diseases will spread requires a complex systems approach to modeling. Recent studies have demonstrated that predicting different components of outbreaks--e.g., the expected number of cases, pace and tempo of cases needing treatment, demand for prophylactic equipment, importation probability etc.--is feasible. Therefore, advancing both the science and practice of disease forecasting now requires testing for the presence of fundamental limits to outbreak prediction. To investigate the question of outbreak prediction, we study the information theoretic limits to forecasting across a broad set of infectious diseases using permutation entropy as a model independent measure of predictability. Studying the predictability of a diverse collection of historical outbreaks--including, chlamydia, dengue, gonorrhea, hepatitis A, influenza, measles, mumps, polio, and whooping cough--we identify a fundamental entropy barrier for infectious disease time series forecasting. However, we find that for most diseases this barrier to prediction is often well beyond the time scale of single outbreaks. We also find that the forecast horizon varies by disease and demonstrate that both shifting model structures and social network heterogeneity are the most likely mechanisms for the observed differences across contagions. Our results highlight the importance of moving beyond time series forecasting, by embracing dynamic modeling approaches, and suggest challenges for performing model selection across long time series. We further anticipate that our findings will contribute to the rapidly growing field of epidemiological forecasting and may relate more broadly to the predictability of complex adaptive systems.

연구 동기 및 목표

• 모델의 품질이나 데이터 가용성과 무관하게 전염병 유행 예측에 내재된 기본적인 한계가 존재하는지 규명하는 것.
• 정보 이론적 엔트로피로 측정된 체계의 본질적 복잡도가 질병 시계열의 예측 가능성에 제약을 가하는지 평가하는 것.
• 장기 예측 정확도가 데이터 부족 때문이 아니라 전파 패턴의 구조적 및 동적 변화 때문임을 평가하는 것.
• 사회적 네트워크의 이질성과 변화하는 전파 역학이 다양한 질병 간 예측 가능성에 미치는 영향을 조사하는 것.
• 장기간의 시계열 데이터가 항상 예측 정확도를 향상시킨다는 가정을 도전하는 것—특히 복잡하고 적응적인 사회생물학적 체계에서 그러한 가정이 타당한지 여쭤보는 것.

제안 방법

• 10종의 역사적 전염병 시계열(예: 홍역, 인플루엔자, 뎅기열)에 대해 모델에 의존하지 않는 정보 이론적 척도인 순열 엔트로피를 적용하여 시계열의 복잡성과 예측 가능성을 측정하였다.
• 52주 윈도우를 사용하여 시간에 따라 순열 엔트로피를 계산하고 실제 데이터에서 예측 가능성이 높거나 낮은 기간을 식별하였다.
• 기본 예측 가능 수준을 설정하기 위해 백색 잡음과 결정론적(노이즈가 있는 사인파) 기준 과정의 엔트로피 값을 관측된 값과 비교하였다.
• 생물학적 및 역학적 지식을 시뮬레이션된 유행과 융합하여 전파 역학의 변화(예: 백신 접종률, 2차 감염률)가 예측 가능성에 미치는 영향을 탐구하였다.
• 데이터 길이가 예측 가능성에 미치는 영향을 평가하여, 더 긴 시계열 데이터가 항상 예측 성능을 향상시키는지 테스트하였다.
• 교차 검증 및 모델 선택 기법을 사용하여 장기간의 시계열 데이터가 항상 정확한 모델 구조를 선호하는지 평가하였으며, 모델 선택에서 '무료 점심' 상황이 존재하는지 검증하였다.

실험 결과

연구 질문

• RQ1 모델이나 데이터 품질과 무관하게 전염병 유행의 예측 가능성을 결정짓는 기본적인 정보 이론적 한계가 존재하는가?
• RQ2 질병 시계열의 예측 가능성은 시간에 따라 어떻게 변하고, 예측 가능성의 변동을 이끄는 요인은 무엇인가?
• RQ3 사회적 네트워크 구조나 백신 접종률의 변화와 같은 전파 역학의 변화가 예측 정확도에 어느 정도의 영향을 미치는가?
• RQ4 시계열 데이터의 길이를 늘일수록 항상 예측 성능이 향상되는가, 아니면 복잡한 체계에서는 잘못된 예측 가능성으로 이어질 수 있는가?
• RQ5 동적이고 데이터 기반의 모델이 시계열 예측에서 식별된 엔트로피 장벽을 극복할 수 있는가, 그리고 이는 역학 모델 선택에 어떤 함의를 갖는가?

주요 결과

• 전염병 시계열에 보편적인 엔트로피 장벽이 존재하며, 이는 통계적으로 예측이 불가능해지는 예측 가능성의 기본 한계를 나타낸다.
• 홍역, 인플루엔자, 뎅기열을 포함한 대부분의 질병에서 이 엔트로피 장벽은 일반적인 유행 기간보다 훨씬 멀리 떨어져 있어, 일반적으로 신뢰할 수 있는 단기 및 중기 예측이 가능함을 시사한다.
• 실제 질병 데이터의 순열 엔트로피 값은 시간에 따라 크게 변동하며, 결정론적 신호를 닮은 높은 예측 가능성 기간과 백색 잡음과 유사한 낮은 예측 가능성 기간이 번갈아 나타나며, 이는 예측 정확도가 시간에 따라 달라짐을 시사한다.
• 데이터 길이를 늘릴수록 항상 예측 가능성이 향상되지는 않으며, 일부 경우에서는 전파 역학의 구조적 변화(예: 접촉 네트워크나 면역 수준의 변화)로 인해 더 긴 시계열이 오히려 예측 가능성을 낮출 수 있다.
• 더 긴 데이터 스펙트럼에서의 모델 성능 저하 현상은 최적의 모델 구조가 시간과 스케일에 따라 변할 수 있음을 시사하며, 이는 적응형이자 반복적으로 校정되는 모델의 필요성을 뒷받침한다.
• 이 연구 결과는 전염병 예측의 모델 선택에서 '무료 점심' 상황을 암시한다. 즉, 어떤 한 모델도 모든 시간 창에서 항상 다른 모델보다 뛰어나지 않으며, 특히 비정상적인 시스템에서는 더욱 그러하다.