[논문 리뷰] Adaptively stacking ensembles for influenza forecasting with incomplete data

Thomas McAndrew, Nicholas G Reich|arXiv (Cornell University)|2019. 07. 26.

Influenza Virus Research Studies참고 문헌 53인용 수 4

한 줄 요약

이 논문은 계절별로만 데이터를 사용하여 매주 모델 가중치를 동적으로 갱신하는 적응형 앙상블 예측 방법을 제안한다. 이 방법은 노이즈가 많고 수정이 자주 발생하는 감시 데이터 상황에서 안정적인 예측을 위해 정규화된 베이지안 사전분포를 활용한다. 적응형 앙상블은 등가중치 앙상블을 뛰어나며, 이전 수년간의 역사적 데이터로 훈련된 정적 앙상블과도 유사한 성능을 보이며, 공중보건 대응을 위한 실시간 예측 도구로 실용적이다.

ABSTRACT

Seasonal influenza infects between 10 and 50 million people in the United States every year, overburdening hospitals during weeks of peak incidence. Named by the CDC as an important tool to fight the damaging effects of these epidemics, accurate forecasts of influenza and influenza-like illness (ILI) forewarn public health officials about when, and where, seasonal influenza outbreaks will hit hardest. Multi-model ensemble forecasts---weighted combinations of component models---have shown positive results in forecasting. Ensemble forecasts of influenza outbreaks have been static, training on all past ILI data at the beginning of a season, generating a set of optimal weights for each model in the ensemble, and keeping the weights constant. We propose an adaptive ensemble forecast that (i) changes model weights week-by-week throughout the influenza season, (ii) only needs the current influenza season's data to make predictions, and (iii) by introducing a prior distribution, shrinks weights toward the reference equal weighting approach and adjusts for observed ILI percentages that are subject to future revisions. We investigate the prior's ability to impact adaptive ensemble performance and, after finding an optimal prior via a cross-validation approach, compare our adaptive ensemble's performance to equal-weighted and static ensembles. Applied to forecasts of short-term ILI incidence at the regional and national level in the US, our adaptive model outperforms a naive equal-weighted ensemble, and has similar or better performance to the static ensemble, which requires multiple years of training data. Adaptive ensembles are able to quickly train and forecast during epidemics, and provide a practical tool to public health officials looking for forecasts that can conform to unique features of a specific season.

연구 동기 및 목표

• 정적 앙상블 예측의 한계를 해결하기 위해, 장기적인 역사적 훈련 데이터와 고정된 가중치에 의존하는 기존 방법의 문제점을 해결하고, 매주 가중치를 갱신하는 실시간 적응형 방법을 개발한다.
• 활발한 인플루엔자 계절 동안 흔히 발생하는 노이즈가 많고 수정이 자주 일어나는 ILI 감시 데이터 상황에서 예측의 강인성을 향상시킨다.
• 앙상블 가중치의 안정성과 예측 성능 향상에 기여하는 사전분포를 통한 정규화의 영향을 평가한다.
• 다양한 계절, 지역, 예측 수준에서 적응형 앙상블이 등가중치 앙상블 및 정적 앙상블과 비교하여 성능에 미치는 영향을 평가한다.
• 다양한 인플루엔자 계절과 예측 목표에 걸쳐 일반화 가능한 최적의 사전분포를 규명한다.

제안 방법

• 다양한 구성 모델의 예측을 결합하기 위해 베이지안 선형 풀을 사용하며, 최근 계절의 ILI 관측치를 기반으로 시간에 따라 변화하는 가중치를 추정한다.
• 앙상블 가중치를 등가중치 방향으로 수축시키기 위해 사전분포를 도입함으로써 노이즈가 많거나 수정이 자주 발생하는 데이터에 대한 과적합을 줄인다.
• 성능 평가로 주로 로그스코어를 사용하며, 사전분포 강도는 계절 간 교차검증을 통해 최적화된다.
• 적응형 앙상블은 매주 계절 동안 훈련 및 갱신되며, 이전 계절의 데이터에 의존하지 않고 오직 현재 계절의 데이터만을 사용한다.
• 다양한 계절, 지역, 예측 수준에서 적응형, 등가중치, 정적 앙상블 간의 로그스코어 차이를 비교하기 위해 무작위 효과 회귀모형을 사용한다.
• 최적의 사전분포는 8%로 확인되었으며, 이는 계절 간 25% 분위수 6% 및 75% 분위수 8.25%를 각각 나타낸다.

실험 결과

연구 질문

• RQ1 현재 계절의 데이터만을 사용하여 매주 가중치를 갱신하는 적응형 앙상블이 이전에 역사적 데이터로 훈련된 정적 앙상블을 능가할 수 있는가?
• RQ2 사전분포를 통한 정규화가 적응형 및 정적 앙상블 예측 성능에 어떤 영향을 미치는가?
• RQ3 수정이 자주 발생하는 ILI 감시 데이터 상황에서 앙상블 가중치를 안정화시키기 위한 최적의 사전분포 강도는 무엇인가?
• RQ4 매우 적은 훈련 데이터를 사용하고도 적응형 앙상블이 정적 앙상블과 유사한 성능을 달성할 수 있는가?
• RQ5 다양한 인플루엔자 계절과 지역에서 예측 정확도를 최대화하는 일관되고 일반화 가능한 사전분포 값(예: 약 8%)이 존재하는가?

주요 결과

• 적응형 앙상블은 모든 계절, 지역, 예측 수준에서 등가중치 앙상블을 뚜렷이 능가하며, 2011/2012 계절에 대해 중앙값 로그스코어 향상 폭이 0.13(95% 신뢰구간: 0.08, 0.19)에 이른다.
• 적응형 앙상블은 정적 앙상블과 유사한 성능을 보이며, 대부분의 계절과 지역에서 로그스코어의 절대 차이가 매우 작다(예: β = 0.02, 95% 신뢰구간: -0.04, 0.08).
• 정규화를 위한 최적의 사전분포는 약 8%로 확인되었으며, 이는 계절 간 25% 분위수 6% 및 75% 분위수 8.25%를 각각 나타낸다.
• 정규화는 적응형 및 정적 앙상블 양쪽 모두의 성능 향상에 기여하며, 특히 데이터 부족과 노이즈로 인해 데이터 품질이 열 劣한 상황에서 적응형 모델이 더 큰 이점을 얻는다.
• 적응형 앙상블은 사전분포 강도가 8%일 때 최고 성능를 보이며, 이 값은 다양한 계절에서 일관된 최고 로그스코어 성능을 보이며 잘 일반화됨을 보여준다.
• 순열 검정을 통해 적응형 앙상블이 등가중치 앙상블을 능가하는 성능 향상은 모든 계절에서 통계적으로 유의미하며(p < 0.01), 유일하게 2012/2013 계절을 제외하고는 그렇다.