[논문 리뷰] Integrating LSTMs and GNNs for COVID-19 Forecasting

N Sesti, Garau-Luis Jj외 2명|arXiv (Cornell University)|2021. 07. 14.

Advanced Graph Neural Networks참고 문헌 25인용 수 9

한 줄 요약

이 논문은 37개 유럽 국가의 코로나19 확진자 데이터에서 시공간 패턴을 공동으로 포착하기 위해 LSTM 게이트 내부에 GraphSAGE 컨볼루션을 통합한 새로운 GraphLSTM 모델을 제안한다. 공간 GNN 레이어와 GraphLSTM 간의 스킵 연결을 도입함으로써, 7일 후 예측에 대해 10%의 예측 오차를 기록하며, MASE 지표에서 최신 기술의 GNN+LSTM 모델과 지연 기반 베이스라인을 모두 능가한다.

ABSTRACT

The spread of COVID-19 has coincided with the rise of Graph Neural Networks (GNNs), leading to several studies proposing their use to better forecast the evolution of the pandemic. Many such models also include Long Short Term Memory (LSTM) networks, a common tool for time series forecasting. In this work, we further investigate the integration of these two methods by implementing GNNs within the gates of an LSTM and exploiting spatial information. In addition, we introduce a skip connection which proves critical to jointly capture the spatial and temporal patterns in the data. We validate our daily COVID-19 new cases forecast model on data of 37 European nations for the last 472 days and show superior performance compared to state-of-the-art graph time series models based on mean absolute scaled error (MASE). This area of research has important applications to policy-making and we analyze its potential for pandemic resource control.

연구 동기 및 목표

• 상호연결된 지역 간에 일일 신규 코로나19 확진자 수를 정확하게 예측하는 데 도전한다.
• 공간적 및 시간적 상관관계를 함께 모델링하기 위해 LSTM 게이트 내부에 직접 그래프 컨볼루션 연산을 통합함으로써 기존의 GNN+LSTM 모델을 개선한다.
• 2020년 1월부터 2021년 5월까지의 실제 유럽 사례 데이터를 기반으로 모델 성능을 평가하며, 예측 정확도와 정책 관련성에 중점을 둔다.
• 특히 스킵 연결을 포함한 모델 설계 선택 사항이 예측 성능 및 과적합 완화에 미치는 영향을 조사한다.
• 국가별로 예측 부족 비율과 간과된 사례를 분석함으로써 정책 수립에 실질적인 유용성을 입증한다.

제안 방법

• 표준 선형 변환 대신 GraphSAGE 기반 그래프 컨볼루션 연산을 사용하여 LSTM 게이트 내부를 수정함으로써, 공간 그래프 위에서 노드 특징을 처리하는 GraphLSTM 모듈을 구축한다.
• 지오데식 거리와 사회적 연결성 점수를 간선 특성으로 사용하여 37개 유럽 국가의 그래프를 구성하며, 각 노드는 가장 가까운 3개의 이웃과 연결한다.
• 초기 GraphSAGE 레이어의 출력과 GraphLSTM의 출력을 연결하는 스킵 연결을 구현하여 공간 정보를 유지하고 과적합을 줄인다.
• 입력 시퀀스 길이 L=21, 예측 환경 M=7을 사용하며, 스무딩된 신규 확진자를 예측하기 위해 3개의 GraphSAGE 레이어, GraphLSTM, 추가 3개의 GraphSAGE 레이어, 그리고 두 개의 완전 연결 레이어로 구성된 스태킹 아키텍처를 적용한다.
• 손실 함수로 평균 절대 스케일 오차(MASE)를 사용하며, 데이터를 377일(학습), 47일(검증), 48일(테스트)로 분할하여 모델을 훈련시킨다.
• 4개의 최신 기술 GNN+LSTM 모델(GConvLSTM, GConvGRU, DCRNN, GCLSTM)과 지연 기반 베이스라인을 비교하며, 개인 기반 및 국가 기반 MASE 지표를 모두 사용한다.

실험 결과

연구 질문

• RQ1 기존의 GNN+LSTM 아키텍처에 비해 LSTM 게이트 내부에 GraphSAGE 컨볼루션을 통합함으로써 시공간 역학적 감염 데이터의 예측 정확도가 향상되는가?
• RQ2 공간 GNN 레이어와 GraphLSTM 사이에 스킵 연결을 포함함으로써 모델의 성능과 미리 알 수 없는 데이터에 대한 일반화 능력은 어떻게 변화하는가?
• RQ3 제안된 모델은 기존 모델 대비 예측 부족(간과된 사례)을 얼마나 줄이며, 실제 정책에 어떤 영향을 미치는가?
• RQ4 모델의 성능은 다양한 확진자 수를 보이는 국가들 간에 어떻게 달라지며, 개인 기반 MASE 지표에 비해 국가 기반 MASE 지표가 더 공정한 평가를 제공하는가?
• RQ5 학습 기간을 초월한 예측, 즉 분포 외 예측에 대해서도 낮은 오차와 높은 신뢰성으로 일반화 가능한가?

주요 결과

• 제안된 GraphLSTM 모델은 37개 유럽 국가의 일일 신규 코로나19 확진자 수에 대해 7일 후 예측에서 10%의 예측 오차를 기록한다.
• 4개의 최신 기술 GNN+LSTM 모델(GConvLSTM, GConvGRU, DCRNN, GCLSTM)과 비교해 성능이 뛰어나며, 단순 지연 기반 베이스라인 대비 손실을 20% 감소시킨다.
• 개인 기반 MASE 점수는 기존 모델보다 유의미하게 낮으며, 스킵 연결을 제거한 추론 실험에서 국가 기반 MASE는 0.76을 기록한다.
• 스킵 연결은 핵심 요소이다: 이를 제거하면 개인 기반 MASE가 0.68에서 0.76으로 증가하여, 과적합 완화 및 시공간 패턴 학습 향상에 기여함을 시사한다.
• 다수의 국가에서 간과된 사례 비율(예측 부족)은 0.1 이하를 유지하며, 최대값도 0.16을 초과하지 않아 정책 기획 시 대비 부족 위험성이 낮음을 시사한다.
• 다양한 국가의 확진자 곡선에 대해 모델 성능이 뛰어나며, 개인 기반 및 국가 기반 MASE 지표 모두에서 일관된 향상이 관찰되어 강력한 일반화 능력과 공정한 평가가 가능함을 입증한다.