[논문 리뷰] Data-driven approaches for predicting spread of infectious diseases through DINNs: Disease Informed Neural Networks

Sagi Shaier, Maziar Raissi외 1명|arXiv (Cornell University)|2021. 10. 11.

COVID-19 epidemiological studies인용 수 13

한 줄 요약

이 논문은 감염병 전파를 예측하고 알려지지 않은 매개변수를 추정하기 위해 병원성 병리학적 모델의 상미분 방정식(OED) 시스템을 활용하는 물리 기반 딥 러닝 프레임워크인 질병 정보 신경망(DINNs)을 소개한다. DINNs는 실세계의 노이즈가 많고 희소한 데이터에서 효과적으로 동역학을 학습함으로써 COVID-19, 지카바이러스, 에볼라를 포함한 11종의 다양한 질병에 대해 전통적인 최적화 방법보다 뛰어난 성능을 보이며, 데이터 누락 및 매개변수 불확실성과 같은 도전적인 조건에서도 높은 정확도를 유지한다.

ABSTRACT

In this work, we present an approach called Disease Informed Neural Networks (DINNs) that can be employed to effectively predict the spread of infectious diseases. This approach builds on a successful physics informed neural network approaches that have been applied to a variety of applications that can be modeled by linear and non-linear ordinary and partial differential equations. Specifically, we build on the application of PINNs to SIR compartmental models and expand it a scaffolded family of mathematical models describing various infectious diseases. We show how the neural networks are capable of learning how diseases spread, forecasting their progression, and finding their unique parameters (e.g. death rate). To demonstrate the robustness and efficacy of DINNs, we apply the approach to eleven highly infectious diseases that have been modeled in increasing levels of complexity. Our computational experiments suggest that DINNs is a reliable candidate for effectively learn about the dynamics of spread and forecast its progression into the future from available real-world data.

연구 동기 및 목표

• 기존의 전염병학적 ODE를 신경망과 통합하여 데이터 기반의 미분 가능 프레임워크를 개발하여 전염병 동역학을 모델링하고 예측하는 것.
• 기존 최적화 방법이 초기 추정치가 잘못되거나 노이즈가 많은 데이터에서 실패하는 복잡한 병용 모델에서의 매개변수 추정 과제를 해결하는 것.
• 전이 역학과 모델 복잡도가 다양한 다양한 전염병에 대해 제안된 방법의 일반화 및 강건성을 입증하는 것.
• 신경망 아키텍처에 질병 특이적 생물학적 및 전염병학적 제약 조건을 통합함으로써 대규모 데이터 세트와 계산 자원에 대한 의존도를 줄이는 것.
• 공중보건 의사결정 과정에서 실시간 예측 및 매개변수 추론을 위한 확장 가능하고 신뢰할 수 있는 역모델링 접근법을 제공하는 것.

제안 방법

• DINNs는 병용 ODE 시스템(예: SIR, SEIR, 지카바이러스, 에볼라 등)을 딥 신경망의 손실 함수에 직접 통합함으로써 물리 기반 신경망(PINNs)을 확장한다.
• 신경망은 관측된 데이터에 적합하고 ODE 잔차 오차를 최소화함으로써 시간에 따라 변화하는 상태 변수(예: S, I, R)와 알려지지 않은 매개변수(예: β, α, γ)를 동시에 학습한다.
• 자동 미분를 사용해 ODE 잔차의 기울기를 계산함으로써 미분 방정식을 통해 역전파를 통한 엔드 투 엔드 학습이 가능하다.
• 다단계 학습 전략을 사용함: 첫 번째로 네트워크는 데이터에서 동역학을 학습하고, 두 번째로 데이터 불일치와 ODE 잔차 최소화를 조합한 손실을 사용해 알려지지 않은 매개변수를 정밀 조정한다.
• 모델의 병용 수와 매개변수 수가 다양할 수 있으며, 잠재적 또는 관측되지 않은 상태(예: 잠복기, 무증상, 벡터 매개 전파 단계 등)를 포함한 시스템도 지원한다.
• 합성 및 실세계 데이터를 사용해 노이즈와 누락된 데이터를 통제한 조건에서 11종의 질병(단순한 SIR에서 복잡한 다단계 모델인 지카바이러스와 앤서린까지)에 대해 평가한다.

실험 결과

연구 질문

• RQ1 DINNs는 복잡도가 다양하고 다양한 병용 모델에 대해 전염병 전파 진행 상황을 정확하게 예측할 수 있는가?
• RQ2 DINN은 실세계의 노이즈가 많고 희소하거나 불완전한 데이터에서 매개변수 추정과 동역학 예측에 대해 얼마나 강건한가?
• RQ3 기존 최적화 방법(Nelder-Mead, Gauss-Newton 등)과 비교했을 때 DINN의 수렴성과 초깃값에 대한 민감도는 어떠한가?
• RQ4 모델 차원과 학습 가능한 매개변수의 수가 DINN 학습 시간과 정확도에 어떤 영향을 미치는가?
• RQ5 DINNs는 앤서린이나 폴리오에서 관찰되는 빠른 진동 또는 복잡한 동역학을 갖는 시스템을 효과적으로 학습할 수 있는가?

주요 결과

• 지카바이러스 모델에서 DINNs는 상태 변수 예측에 대해 상대 오차가 최소 2.215e-06에 도달하여 복잡한 다병용 ODE 시스템에 대한 높은 정확도를 입증했다.
• 지카바이러스 모델에서 DINN은 14개의 모든 매개변수를 상대 오차 5.87% 이내로 추정했으며, 특히 매개변수 'a'의 최고 추정치는 상대 오차가 단지 0.0588%에 불과했다.
• DINNs는 모든 테스트 케이스에서 전통적인 최적화 방법(Nelder-Mead, Gauss-Newton 등)을 초월했으며, 특히 진짜 값에서 멀리 떨어진 초기 매개변수 추정치를 사용할 경우 다른 방법이 수렴하지 못하는 상황에서도 성능이 뛰어났다.
• 기존 매개변수를 고정했을 때 학습 시간이 50시간에서 몇 분으로 감소하여, 사전 지식이 있을 경우 매우 효율적임을 시사했다.
• DINNs는 데이터 변동성과 누락된 데이터에 강건했으며, 랜덤으로 약 30%의 데이터 포인트가 제거된 상황에서도 높은 정확도를 유지했다.
• 이 방법은 낮거나 중간 정도의 진동 복잡도를 가지는 모델(예: 홍역, 결핵)에 가장 효과적이었으며, 날카롭고 급격한 진동을 보이는 시스템(예: 앤서린)은 훨씬 더 긴 학습 시간과 하이퍼파rameter 튜닝이 필요했다.