[論文レビュー] Graph Message Passing with Cross-location Attentions for Long-term ILI Prediction

Songgaojun Deng, Shusen Wang+3 more|arXiv (Cornell University)|Dec 21, 2019

Advanced Graph Neural Networks参考文献 31被引用数 13

ひとこと要約

本稿では、長期的なインフルエンザ様疾患（ILI）予測を改善するための、クロスロケーション注目メカニズムを備えたグラフニューラルネットワーク、Cola-GNNを提案する。RNNによる時系列特徴抽出と、学習可能な注目行列による空間的依存性モデリングを統合することで、従来手法よりも優れたスパティオテンポラルダイナミクスの捉え込みが可能となり、米国および日本のILIデータセットにおいて最大20週先の予測で最先端の性能を達成した。

ABSTRACT

Forecasting influenza-like illness (ILI) is of prime importance to epidemiologists and health-care providers. Early prediction of epidemic outbreaks plays a pivotal role in disease intervention and control. Most existing work has either limited long-term prediction performance or lacks a comprehensive ability to capture spatio-temporal dependencies in data. Accurate and early disease forecasting models would markedly improve both epidemic prevention and managing the onset of an epidemic. In this paper, we design a cross-location attention based graph neural network (Cola-GNN) for learning time series embeddings and location aware attentions. We propose a graph message passing framework to combine learned feature embeddings and an attention matrix to model disease propagation over time. We compare the proposed method with state-of-the-art statistical approaches and deep learning models on real-world epidemic-related datasets from United States and Japan. The proposed method shows strong predictive performance and leads to interpretable results for long-term epidemic predictions.

研究の動機と目的

• 限られた歴史的データと遅延する監視レポートを伴う長期的（10〜20週）なILI予測の課題に対処すること。
• 複数の地理的領域にまたがるILI拡散における複雑なスパティオテンポラル依存性をモデル化すること。
• 空間相関を無視するか、長期予測で失敗する従来の統計的およびディープラーニングモデルを超える予測精度を向上させること。
• 動的な疾患伝播モデリングに適した場所に依存する注目メカニズムを学習するグラフニューラルネットワークフレームワークを構築すること。
• 学習された注目行列をエピデミック伝播パターンの代理として分析することで、解釈可能な結果を提供すること。

提案手法

• 各場所をノードとし、相互場所間の影響を捉える学習可能な注目行列によって定義されるエッジを持つグラフニューラルネットワークを採用する。
• 時系列依存性は、各場所の歴史的ILI時系列から隠れ状態を生成するRNNによってモデル化する。
• 短い時間窓の時系列パターンを抽出し、グラフ伝搬の前に特徴表現を強化するための時系列畳み込みモジュールを導入する。
• 注目に基づく隣接行列を用いて、グラフメッセージパッシングにより場所間の情報を集約し、動的な伝搬モデリングを可能にする。
• 最終的な予測ヘッドは、複数のGNN層からのノード埋め込みを組み合わせて、将来的な時刻におけるILI件数を予測する。
• 注目行列はトレーニング中に共同最適化され、モデルがデータパターンに基づいてどの場所が他の場所に影響を与えるかを自動で学習可能となる。

実験結果

リサーチクエスチョン

• RQ1 学習可能な注目メカニズムを備えたグラフニューラルネットワークは、固定された空間的隣接行列と比較して、長期的なILI予測を改善できるか？
• RQ2 RNNに基づく時系列モデリングと注目に基づく空間的伝搬の統合は、複雑なスパティオテンポラルダイナミクスをどれほど効果的に捉えられるか？
• RQ3 提案されたCola-GNNフレームワークは、多様な地理的地域において、最先端の統計的およびディープラーニングモデルを上回る長期ILI予測を達成できるか？
• RQ4 学習された注目重みは、偶然的な相関ではなく、意味のあるエピデミック伝播パターンをどれほど正確に反映しているか？
• RQ5 履歴窓サイズやグラフ特徴次元といったハイパーパrameterの変更に対して、モデルの性能はどれほど感度を示すか？

主な発見

• Cola-GNNは、米国および日本の実世界の3つのデータセットにおいて最先端の性能を達成し、特に15週先の予測においてRMSEおよびPCCの大幅な向上を示した。
• AR、VAR、ARMA、RNN、GCNベースのモデルといった強力なベースラインを上回り、特に時系列的および空間的依存性が最も重要となる長期予測で顕著な優位性を示した。
• アブレーションスタディの結果、場所に依存する注目モジュールを削除し、地理的隣接行列を採用すると性能が低下することが確認され、学習された空間的関係の価値が裏付けられた。
• 履歴窓サイズ（10〜50週）の変更に対しても安定した性能を維持しており、入力シーケンス長に対するロバストネスが示された。
• 感度分析の結果、グラフ特徴次元を増加させることで予測性能が向上するが、一定の点を過ぎると劣化し、GRU/LSTMといったより大きなRNNアーキテクチャは過学習を引き起こし、単純なRNNよりも結果が悪化した。
• モデルは中程度の計算コスト（1GPUで1エポック0.21秒）を有しており、パラメータ数が3,778（US-Statesデータセット）であるにもかかわらず、複雑さを考慮しても効率的であることが示された。