[논문 리뷰] When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting

Harshavardhan Kamarthi, Lingkai Kong외 3명|arXiv (Cornell University)|2021. 06. 07.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 비모수적 방식으로 확률적 잠재변수와 동적 상관관계 그래프를 사용해 전염병 예측의 불확실성을 정량화하는 신경 기능 프로세스 모델인 EpiFNP을 제안한다. 이는 정확도(최대 2.5배)와 校정성(최대 2.4배)에서 최신 기술보다 뛰어나며, 현재 추세와 유사한 과거 시기와의 연결을 통해 해석 가능한 예측을 가능하게 한다.

ABSTRACT

Accurate and trustworthy epidemic forecasting is an important problem that has impact on public health planning and disease mitigation. Most existing epidemic forecasting models disregard uncertainty quantification, resulting in mis-calibrated predictions. Recent works in deep neural models for uncertainty-aware time-series forecasting also have several limitations; e.g. it is difficult to specify meaningful priors in Bayesian NNs, while methods like deep ensembling are computationally expensive in practice. In this paper, we fill this important gap. We model the forecasting task as a probabilistic generative process and propose a functional neural process model called EPIFNP, which directly models the probability density of the forecast value. EPIFNP leverages a dynamic stochastic correlation graph to model the correlations between sequences in a non-parametric way, and designs different stochastic latent variables to capture functional uncertainty from different perspectives. Our extensive experiments in a real-time flu forecasting setting show that EPIFNP significantly outperforms previous state-of-the-art models in both accuracy and calibration metrics, up to 2.5x in accuracy and 2.4x in calibration. Additionally, due to properties of its generative process,EPIFNP learns the relations between the current season and similar patterns of historical seasons,enabling interpretable forecasts. Beyond epidemic forecasting, the EPIFNP can be of independent interest for advancing principled uncertainty quantification in deep sequential models for predictive analytics

연구 동기 및 목표

• 전염병 예측을 위한 딥러닝 모델에서 신뢰할 수 있는 불확실성 정량화의 부족을 해결하기 위해.
• 계산적으로 비용이 많이 들거나 해석이 어려운 베이지안 추론이나 고비용 앙상블에 의존하지 않고도 잘 校정된 확률적 예측을 생성하는 방법을 개발하기 위해.
• 현재 추세와 유사한 과거 전염병 패턴을 식별함으로써 예측을 해석 가능하게 하기 위해.
• 비모수적 딥 생성 모델을 활용해 시간적 시계열 데이터의 복잡한 시간적 의존성과 기능적 불확실성을 모델링하기 위해.
• 2019/20 H1N1와 코로나19가 동시에 유통되는 등 새로운 또는 이례적인 전염병 상황에서의 강건성을 향상시키기 위해.

제안 방법

• EpiFNP는 전염병 시계열을 기능 공간 내 확률적 생성 과정으로 모델링하기 위해 신경 기능 프로세스 프레임워크를 활용한다.
• 현재와 과거 전염병 시계열 간의 관계를 동적으로 모델링하기 위해 확률적 데이터 상관관계 그래프(SDCG)를 사용한다.
• 개별적인 확률적 잠재변수들이 국소적 및 전역적 기능적 불확실성을 포착하여 校정성과 강건성을 향상시킨다.
• 추론 과정에서 관련된 과거 시기들을 주의 집중(attention)함으로써 예측의 해석 가능성을 높인다.
• 딥 시퀀셜 모델과 비모수적 베이지안 방법을 통합하여 예측 분포를 파라미터 가정 없이 직접 모델링한다.
• 종합적으로, 모델은 부정적 로그우도를 최소화하고 잘 校정된 불확실성 추정을 촉진하기 위해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 기존의 딥러닝 및 통계 기반 기준 대비 비모수적 딥 생성 모델이 실시간 전염병 예측에서 더 높은 정확도와 校정성을 달성할 수 있는가?
• RQ2 계산적으로 비용이 많이 들거나 해석이 어려운 사전 분포나 고비용 앙상블에 의존하지 않고도 전염병 예측의 불확실성을 효과적으로 정량화할 수 있는가?
• RQ3 모델의 불확실성 추정이 비슷한 과거 전염병 패턴을 식별함으로써 의미 있는 해석이 가능할 수 있는가?
• RQ4 2019/20 H1N1와 코로나19가 동시에 유통되는 등 예상치 못한 전염병 사건에 대해 모델은 어떻게 반응하는가?
• RQ5 확률적 데이터 상관관계 그래프(SDCG)가 예측 설명의 해석 가능성과 신뢰성에 얼마나 기여하는가?

주요 결과

• EpiFNP는 실시간 인플루엔자 예측에서 최신 기술 대비 최대 2.5배 높은 정확도와 최대 2.4배 높은 校정성을 달성한다.
• 2019/20 인플루엔자 시즌의 예상치 못한 제3의 정점(peak)을 유일하게 신뢰성 있게 포착하며, 95% 신뢰구간이 실제값을 완전히 포함한다.
• SDCG에서 평균 간선 확률이 낮아지는 피크 주변에서 모델의 불확실성 추정이 증가하여 예측 분산이 높아지는 경향을 반영한다.
• EpiFNP는 2015/16 시즌에 대해 관측된 패턴과 일치하는 2005, 2006, 2010년 등 가장 관련성이 높은 과거 시기를 자동으로 검색한다.
• SDCG는 현재 예측을 비슷한 과거 전염병 궤적과 연결함으로써 예측의 해석 가능성을 높이며, 신뢰도와 투명성을 향상시킨다.
• EpiFNP는 GP, RNP 및 기타 기준 대비 예측 정확도와 校정성에서 모두 뛰어나며, 특히 새로운 또는 이례적인 상황에서 뛰어난 성능을 보인다.