[論文レビュー] Inter-Series Attention Model for COVID-19 Forecasting

Xiaoyong Jin, Yu-Xiang Wang+1 more|arXiv (Cornell University)|Oct 25, 2020

COVID-19 epidemiological studies参考文献 31被引用数 5

ひとこと要約

本稿では、COVID-19の時系列予測のためのデータ駆動型モデルACTSを提案する。ACTSは、複数の地理的地域間のパターンを比較するための相互時系列アテンションを活用し、従来手法よりも顕著に予測精度を向上させる。アテンション機構とトレンド除去・正規化を組み合わせることで、18件のテストケースのうち13件で確認された症例、入院患者数、死亡者数の予測において、最先端の性能を達成した。CDCが推奨する予測モデルやディープラーニングベースラインを上回った。

ABSTRACT

COVID-19 pandemic has an unprecedented impact all over the world since early 2020. During this public health crisis, reliable forecasting of the disease becomes critical for resource allocation and administrative planning. The results from compartmental models such as SIR and SEIR are popularly referred by CDC and news media. With more and more COVID-19 data becoming available, we examine the following question: Can a direct data-driven approach without modeling the disease spreading dynamics outperform the well referred compartmental models and their variants? In this paper, we show the possibility. It is observed that as COVID-19 spreads at different speed and scale in different geographic regions, it is highly likely that similar progression patterns are shared among these regions within different time periods. This intuition lead us to develop a new neural forecasting model, called Attention Crossing Time Series ( extbf{ACTS}), that makes forecasts via comparing patterns across time series obtained from multiple regions. The attention mechanism originally developed for natural language processing can be leveraged and generalized to materialize this idea. Among 13 out of 18 testings including forecasting newly confirmed cases, hospitalizations and deaths, extbf{ACTS} outperforms all the leading COVID-19 forecasters highlighted by CDC.

研究の動機と目的

• 限られたかつ変動するデータを伴う多様な地理的地域における、COVID-19の発症率の正確でリアルタイムの予測の課題に対処すること。
• 明示的な疾患ダイナミクスのモデル化を伴わない純粋なデータ駆動型アプローチが、SIR や SEIR のような確立された compartmental モデルを上回れるかどうかを調査すること。
• 疾病進行パターンの地域間類似性を捉えることで、予測精度を向上させるニューラル予測フレームワークを開発すること。
• アテンション機構が、疫学的予測のための異なる地域間の時系列を比較する際の有効性を評価すること。
• トレンド除去と正規化のコンponentが、スパarsな非定常時系列における予測性能を向上させる貢献度を評価すること。

提案手法

• モデルは、ターゲット地域の最近の時系列データを、他のすべての地域の履歴セグメントと比較するための相互時系列アテンション機構を用いる。
• クエリ・キー・バリューのアテンション機構を適用し、クエリはターゲット地域の最近のデータから得られ、キーは参照地域の時系列から抽出される。
• 長期間のトレンドをモデル化するためのトレンド除去モジュールを導入し、非定常データに対するロバスト性を向上させる。
• セグメント埋め込みを正規化することで、スケールの異なる地域間での訓練の安定化とアテンションの整合性を向上させる。
• 疫学的仮定に依存せず、発症数（確認例、入院患者数、死亡者数）のインcidencデータと最小限の補助特徴量のみを用いて、エンドツーエンドで学習を行う。
• アテンション機構は、類似性に基づいて他の地域からの関連する履歴時系列窓を動的に選択し、地理的領域を越えた予測パターンの転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 SIR や SEIR のような確立された compartmental モデルを上回る、純粋にデータ駆動型のアテンションベースのモデルが、COVID-19の発症率を予測する際に有効であるか。
• RQ2 地域間の疾病進行パターンの類似性が、予測精度をどの程度向上させるか。
• RQ3 特定の地域の将来の発症率を予測する際、アテンション機構が他の地域からの関連する履歴パターンをどの程度効果的に同定できるか。
• RQ4 トレンド除去と正規化のコンponentが、スパarsかつ非定常時系列における性能向上に果たす貢献度はどの程度か。
• RQ5 データの可用性が増加するにつれて、モデルの性能が向上するか。また、ConvTrans や TFT のようなディープラーニングベースラインと比較して、どのように差がつくか。

主な発見

• ACTSは、18件の予測タスクのうち13件で、CDCが推奨する主要な予測モデルを上回り、確認例、入院患者数、死亡者数のそれぞれについて、最良のベースライン比で平均9%、5%、4%の改善を達成した。
• 全テスト日付において最小の WAPE（重み付き絶対誤差率）を記録し、5回の異なる初期化で性能のばらつきが±0.02以内に収まり、ロバスト性が裏付けられた。
• 相互時系列アテンションが、性能向上の主な要因であった。これは、地域間のパターン照合が、局所的な自己回帰モデルを超えて予測精度を向上させることを示している。
• トレンド除去モジュールは測定可能な改善をもたらし、アテンションがマクロなダイナミクスを捉えられない場合、長期トレンドのモデル化が不可欠であることを示唆している。
• 学習は5分未満で完了し、推論は数秒で実行された。複雑さを有しながらも、効率性を示した。
• アテンションクエリに基づくクラスタリングにより、意味のある地理的グループ化が得られた。例えば、カリフォルニア、テキサス、フロリダは、死亡者数の推移が類似していたため、同じグループに分類された。これは、モデルが生物学的に妥当な地域的類似性を学習できていることを検証するものである。