[논문 리뷰] Graph Message Passing with Cross-location Attentions for Long-term ILI Prediction

Songgaojun Deng, Shusen Wang외 3명|arXiv (Cornell University)|2019. 12. 21.

Advanced Graph Neural Networks참고 문헌 31인용 수 13

한 줄 요약

이 논문은 장기 인플루엔자 유사 질환(ILI) 예측을 향상시키기 위해 교차 위치 주의 메커니즘을 갖춘 그래프 신경망인 Cola-GNN을 제안한다. RNN을 통한 시계열 특징 학습과 학습 가능한 주의 행렬을 통한 공간적 의존성 모델링을 융합함으로써, 기존 방법보다 더 효과적으로 시공간 동역학을 포착하며, 미국 및 일본의 ILI 데이터셋에서 최대 20주의 리드 타임까지 최신 기술 성능을 달성한다.

ABSTRACT

Forecasting influenza-like illness (ILI) is of prime importance to epidemiologists and health-care providers. Early prediction of epidemic outbreaks plays a pivotal role in disease intervention and control. Most existing work has either limited long-term prediction performance or lacks a comprehensive ability to capture spatio-temporal dependencies in data. Accurate and early disease forecasting models would markedly improve both epidemic prevention and managing the onset of an epidemic. In this paper, we design a cross-location attention based graph neural network (Cola-GNN) for learning time series embeddings and location aware attentions. We propose a graph message passing framework to combine learned feature embeddings and an attention matrix to model disease propagation over time. We compare the proposed method with state-of-the-art statistical approaches and deep learning models on real-world epidemic-related datasets from United States and Japan. The proposed method shows strong predictive performance and leads to interpretable results for long-term epidemic predictions.

연구 동기 및 목표

• 제한된 역사적 데이터와 지연된 감시 보고로 인한 장기(10~20주) ILI 예측 과제를 해결하기 위해.
• 다양한 지리적 위치 간 ILI 전파의 복잡한 시공간 의존성을 모델링하기 위해.
• 공간 상관관계를 간과하거나 장기 예측에서 실패하는 전통적 통계 및 딥러닝 모델을 넘어서 예측 정확도를 향상시키기 위해.
• 동적 질병 전파 모델링을 위한 위치 인식 주의를 학습하는 그래프 신경망 프레임워크를 개발하기 위해.
• 학습된 주의 행렬을 전염병 전파 패턴의 대체 척도로 분석하여 결과의 해석 가능성을 제공하기 위해.

제안 방법

• 모델은 각 위치를 노드로 하며, 상호 위치 영향을 캡처하는 학습 가능한 주의 행렬에 의해 정의된 간선을 갖는 그래프 신경망을 사용한다.
• 시계열 의존성은 각 위치의 이전 ILI 시계열에서 은닉 상태를 생성하기 위해 RNN을 사용하여 모델링된다.
• 단기 윈도우 시계열 패턴을 추출하고 그래프 전파 이전에 특징 표현을 강화하기 위해 시계열 컨볼루션 모듈을 사용한다.
• 주의 기반 인접 행렬을 사용하여 그래프 메시지 전파가 위치 간 정보를 집계함으로써 동적 전파 모델링이 가능해진다.
• 최종 예측 헤드는 다중 GNN 레이어의 노드 임베딩을 조합하여 향후 시점의 ILI 수를 예측한다.
• 주의 행렬은 학습 중에 함께 최적화되어, 모델이 데이터 패턴에 기반해 어떤 위치가 다른 위치에 영향을 미치는지 자동으로 학습할 수 있다.

실험 결과

연구 질문

• RQ1 학습 가능한 주의 메커니즘을 갖춘 그래프 신경망이 고정된 공간 인접 행렬에 비해 장기 ILI 예측 성능을 향상시킬 수 있는가?
• RQ2 RNN 기반 시계열 모델링과 주의 기반 공간 전파의 통합이 복잡한 시공간 동역학을 얼마나 효과적으로 포착하는가?
• RQ3 제안된 Cola-GNN 프레임워크가 다양한 지리적 지역에서 장기 ILI 예측에서 최신 기술 통계 및 딥러닝 모델을 초월하는가?
• RQ4 학습된 주의 가중치가 우연한 상관관계가 아니라 의미 있는 전염병 전파 패턴을 얼마나 잘 반영하는가?
• RQ5 히스토리 윈도우 크기 및 그래프 특징 차원과 같은 하이퍼파rameter에 대해 모델 성능이 얼마나 민감한가?

주요 결과

• Cola-GNN은 미국 및 일본에서의 실세계 데이터셋 3개에서 최신 기술 성능을 달성하였으며, 특히 15주 리드 타임과 같은 장기 예측에서 RMSE와 PCC 모두 유의미한 향상을 보였다.
• AR, VAR, ARMA, RNN, GCN 기반 모델과 같은 강력한 베이스라인을 모두 능가하였으며, 특히 시계열 및 공간 의존성이 가장 중요한 장기 예측에서 뚜렷한 성능 향상을 보였다.
• 제거 실험 결과, 위치 인식 주의 모듈을 제거하고 지리적 인접 행렬을 사용할 경우 성능이 악화됨을 확인하여 학습된 공간 관계의 가치를 입증하였다.
• 다양한 히스토리 윈도우 크기(10~50주)에서도 안정적인 성능 유지를 보이며, 입력 시퀀스 길이에 대한 강건성을 입증하였다.
• 민감도 분석 결과, 그래프 특징 차원을 늘일수록 예측 성능이 일정 수준까지 향상되나, 더 큰 RNN 아키텍처(GRU/LSTM)는 과적합을 유도하고 단순 RNN보다 성능이 열 劣하므로, 성능 향상에 한계가 있음을 확인하였다.
• 모델은 중간 수준의 계산 비용(단일 GPU에서 1에포크당 0.21초)을 가지며, 복잡한 아키텍처와 3,778개의 파라미터를 가짐에도 불구하고 효율적임을 입증하였다.