[論文レビュー] Integrating LSTMs and GNNs for COVID-19 Forecasting

N Sesti, Garau-Luis Jj+2 more|arXiv (Cornell University)|Jul 14, 2021

Advanced Graph Neural Networks参考文献 25被引用数 9

ひとこと要約

本論文は、37か国のCOVID-19感染症データにおける空間的・時間的パターンを統合的に捉えるために、LSTMのゲート内にGraphSAGE畳み込みを統合した新規のGraphLSTMモデルを提案する。空間的GNNレイヤーとGraphLSTMの間にスキップ接続を導入することで、7日先の予測において10%の予測誤差を達成し、MASE指標において最先端のGNN+LSTMモデルおよびラグベースのベースラインを上回る性能を発揮した。

ABSTRACT

The spread of COVID-19 has coincided with the rise of Graph Neural Networks (GNNs), leading to several studies proposing their use to better forecast the evolution of the pandemic. Many such models also include Long Short Term Memory (LSTM) networks, a common tool for time series forecasting. In this work, we further investigate the integration of these two methods by implementing GNNs within the gates of an LSTM and exploiting spatial information. In addition, we introduce a skip connection which proves critical to jointly capture the spatial and temporal patterns in the data. We validate our daily COVID-19 new cases forecast model on data of 37 European nations for the last 472 days and show superior performance compared to state-of-the-art graph time series models based on mean absolute scaled error (MASE). This area of research has important applications to policy-making and we analyze its potential for pandemic resource control.

研究の動機と目的

• 空間的・時間的データを用いて、相互に接続された地域間で正確に日次新規COVID-19感染者数を予測する課題に対処すること。
• 空間的および時間的依存関係を同時にモデル化するため、GNN+LSTMモデルを改善するために、グラフ畳み込み演算をLSTMゲートに直接統合すること。
• 2020年1月から2021年5月までの実世界のヨーロッパの感染者データを用いて、モデルの性能を評価し、予測精度と政策的関連性に焦点を当てる。
• 特にスキップ接続を含むモデル設計の選択が、予測性能とアンダーフィッティングの緩和に与える影響を調査すること。
• 各国における予測不足率と見逃された症例の分析を通じて、政策立案におけるモデルの実用的価値を示すこと。

提案手法

• LSTMゲート内の標準的な線形変換を、グラフ畳み込み操作を備えたGraphSAGEに基づくものに置き換えることで、空間グラフ上のノード特徴量を処理するGraphLSTMモジュールを構築する。
• 地理的距離と社会的接続スコアをエッジ特徴量として用い、各ノードを最も近い3つのノードに接続する37か国のヨーロッパのグラフを構築する。
• 初期のGraphSAGEレイヤーの出力とGraphLSTMの出力を連結するスキップ接続を実装し、空間的情報を保持するとともに、アンダーフィッティングを軽減する。
• 入力系列長L=21日、予測ホライズンM=7日として、スムージングされた新規症例を予測するスタック型アーキテクチャを採用。構成は、3層のGraphSAGE、GraphLSTM、さらに3層のGraphSAGE、および2層の全結合層からなる。
• 損失関数として平均絶対スケーリング誤差（MASE）を用い、データを377日（学習）、47日（検証）、48日（テスト）に分割してモデルを訓練する。
• 本研究で提案するモデルを、4つの最先端のGNN+LSTMモデル（GConvLSTM、GConvGRU、DCRNN、GCLSTM）およびラグベースラインと比較し、個人単位および国単位のMASE指標を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 標準的なGNN+LSTMアーキテクチャと比較して、LSTMゲート内にGraphSAGE畳み込みを統合することで、空間的・時間的疫学的データの予測精度が向上するか？
• RQ2 空間的GNNレイヤーとGraphLSTMの間にスキップ接続を含めることで、未学習データに対するモデルの性能と一般化能力にどのような影響を与えるか？
• RQ3 提案モデルは、ベースラインと比較して、予測不足（見逃された症例）をどの程度低減するか。また、その実世界における政策的影響は何か？
• RQ4 モデルの性能は、症例数が異なる国々でどのように変動するか。また、国単位のMASE指標は、個人単位のMASE指標と比較して、より公平な評価を提供するか？
• RQ5 本モデルは、学習期間を超えた予測（分布外予測）に対しても、低誤差かつ高い信頼性で一般化可能か？

主な発見

• 提案されたGraphLSTMモデルは、37か国のヨーロッパにおける日次新規COVID-19感染者数の7日先予測で10%の予測誤差を達成した。
• 4つの最先端のGNN+LSTMモデル（GConvLSTM、GConvGRU、DCRNN、GCLSTM）を上回り、単純なラグベースラインと比較して損失を20%低減した。
• 個人単位のMASEスコアはベースラインよりも顕著に低く、スコアのアブレーションスタディではスキップ接続を除いた場合に国単位のMASEが0.76に達した。
• スキップ接続は極めて重要である：これを削除すると、個人単位のMASEは完全モデルの0.68から0.76に上昇し、アンダーフィッティングの緩和と空間的・時間的パターンの学習の向上に寄与していることが示された。
• 予測不足（過小予測）の割合は、大多数の国で0.1未満であり、最大でも0.16にとどまり、政策立案における準備不足のリスクが低いことが示された。
• 多様な国ごとの症例曲線にわたってモデルの性能が安定しており、個人単位および国単位のMASE指標において一貫した改善が得られた。これは、強力な一般化性能と評価の公平性を示している。