[논문 리뷰] Inter-Series Attention Model for COVID-19 Forecasting

Xiaoyong Jin, Yu-Xiang Wang외 1명|arXiv (Cornell University)|2020. 10. 25.

COVID-19 epidemiological studies참고 문헌 31인용 수 5

한 줄 요약

이 논문은 다수의 지리적 지역 간 패턴을 비교하기 위해 상호시리즈 어텐션을 활용하는 데이터 기반 시계열 예측 모델인 ACTS를 제안한다. 이는 기존 방법보다 예측 정확도를 크게 향상시킨다. 어텐션 기반 기법과 탈트렌딩, 정규화를 조합함으로써 ACTS는 18개의 테스트 케이스 중 13개에서 확진자, 입원 환자, 사망자 예측에 있어 최신 기술 수준의 성능을 달성하였으며, CDC가 추천한 예측 모델과 딥러닝 기반 기준선을 모두 능가한다.

ABSTRACT

COVID-19 pandemic has an unprecedented impact all over the world since early 2020. During this public health crisis, reliable forecasting of the disease becomes critical for resource allocation and administrative planning. The results from compartmental models such as SIR and SEIR are popularly referred by CDC and news media. With more and more COVID-19 data becoming available, we examine the following question: Can a direct data-driven approach without modeling the disease spreading dynamics outperform the well referred compartmental models and their variants? In this paper, we show the possibility. It is observed that as COVID-19 spreads at different speed and scale in different geographic regions, it is highly likely that similar progression patterns are shared among these regions within different time periods. This intuition lead us to develop a new neural forecasting model, called Attention Crossing Time Series ( extbf{ACTS}), that makes forecasts via comparing patterns across time series obtained from multiple regions. The attention mechanism originally developed for natural language processing can be leveraged and generalized to materialize this idea. Among 13 out of 18 testings including forecasting newly confirmed cases, hospitalizations and deaths, extbf{ACTS} outperforms all the leading COVID-19 forecasters highlighted by CDC.

연구 동기 및 목표

• 다양한 지리적 지역에서 데이터가 제한적이고 변동성이 큰 상황에서도 정확하고 실시간으로 COVID-19 유병률을 예측하는 데 도전한다.
• 명시적인 질병 역학 모델링 없이 순수하게 데이터 기반 접근 방식이 SIR 및 SEIR와 같은 전통적인 분할 모델을 능가할 수 있는지 조사한다.
• 질병 진행 패턴의 지역 간 유사성을 포착하는 신경망 기반 예측 프레임워크를 개발한다.
• 어 schemes이 다양한 지역 간 시계열을 비교하여 전염병 예측에 효과적인지 평가한다.
• 탈트렌딩 및 정규화 구성 요소가 희소하고 비 stationary한 시계열에서 예측 성능 향상에 기여하는 정도를 평가한다.

제안 방법

• 모델은 대상 지역의 최근 시계열을 다른 모든 지역의 이전 시계열 세그먼트와 비교하여 유사한 진행 패턴을 식별하기 위해 상호시리즈 어텐션 메커니즘을 사용한다.
• 쿼리-키-밸류 어텐션 메커니즘을 적용하며, 쿼리는 대상 지역의 최근 데이터에서 유도되고, 키는 기준 지역의 시계열에서 추출된다.
• 장기 추세를 모델링하기 위해 탈트렌딩 모듈을 도입하여 어텐션만으로는 포착하지 못하는 비정상적 데이터에 대한 강건성을 향상시킨다.
• 세그먼트 임베딩을 정규화하여 학습을 안정화시키고, 다양한 척도를 가진 지역 간 어텐션 정렬을 향상시킨다.
• 모델은 전적으로 유병률 데이터(확진자 수, 입원 환자 수, 사망자 수)와 최소한의 보조 특성만을 사용하여 종합적으로 학습되며, Epidemiological 가정에 의존하지 않는다.
• 어텐션 메커니즘은 유사성에 기반해 다른 지역의 관련된 이전 시계열 윈도우를 동적으로 선택함으로써 지리적 범위를 넘어서 예측 패턴을 전이할 수 있다.

실험 결과

연구 질문

• RQ1 순수하게 데이터 기반의 어텐션 기반 모델이 SIR 및 SEIR와 같은 기존의 분할 모델을 능가할 수 있는가?
• RQ2 지역 간 질병 진행 패턴의 유사성이 예측 정확도 향상에 얼마나 기여하는가?
• RQ3 특정 지역의 미래 발생률을 예측할 때, 어텐션 메커니즘이 다른 지역의 관련된 이전 패턴을 얼마나 효과적으로 식별하는가?
• RQ4 탈트렌딩 및 정규화 구성 요소가 희소하고 비정상적인 시계열에서 성능 향상에 기여하는 정도는 어떠한가?
• RQ5 데이터 가용성이 증가함에 따라 모델의 성능이 향상되는가? 또한 ConvTrans 및 TFT와 같은 딥러닝 기반 기준선과 비교해 볼 때 어떤가?

주요 결과

• ACTS는 18개의 예측 작업 중 13개에서 모든 주요 CDC가 추천한 예측 모델을 능가하였으며, 확진자, 입원 환자, 사망자 예측에 대해 각각 최고 기준선 대비 평균 9%, 5%, 4% 향상된 성능을 기록하였다.
• 모든 테스트 일자에서 가장 낮은 WAPE(가중 평균 절대 오차)를 기록하였으며, 다섯 번의 랜덤 초기화에서 성능 변동 범위가 ±0.02 이내로 유지되어 강건성을 입증하였다.
• 상호시리즈 어텐션 기법이 성능 향상에 가장 크게 기여하였으며, 지역 간 패턴 매칭이 국소 자기상관 모델링을 넘어서 예측 정확도 향상에 기여한다는 점을 입증하였다.
• 탈트렌딩 모듈이 측정 가능한 성능 향상을 제공하여, 어텐션만으로는 포착하지 못하는 거시적 역학적 동역학을 모델링하는 것이 필수적임을 시사한다.
• 모델 학습은 5분 이내에 완료되었고, 추론은 몇 초 내에 수행되어 복잡한 구조임에도 불구하고 효율성을 입증하였다.
• 어텐션 쿼리 기반 클러스터링을 통해 의미 있는 지리적 군집을 도출하였다. 예를 들어, 캘리포니아, 텍사스, 플로리다 주는 유사한 사망자 수 추세로 인해 함께 군집화되었으며, 이는 모델이 생물학적으로 타당한 지역 유사성을 학습할 수 있음을 검증한다.