[論文レビュー] Data-Centric Epidemic Forecasting: A Survey

Alexander Rodríguez, Harshavardhan Kamarthi+5 more|arXiv (Cornell University)|Jul 19, 2022

Data-Driven Disease Surveillance被引用数 6

ひとこと要約

本サーベイは、臨床、デジタル、行動、ゲノム、環境、政策の多様なデータソースと、高度な統計、機械学習、ハイブリッドモデリング手法を統合した、データ中心の流行予測の包括的フレームワークを提示する。不確実性の定量化、説明可能性、実世界への展開における主な課題を特定し、公衆衛生意思決定を支援するための実行可能で信頼性のある予測のためのロードマップを提示する。

ABSTRACT

The COVID-19 pandemic has brought forth the importance of epidemic forecasting for decision makers in multiple domains, ranging from public health to the economy as a whole. While forecasting epidemic progression is frequently conceptualized as being analogous to weather forecasting, however it has some key differences and remains a non-trivial task. The spread of diseases is subject to multiple confounding factors spanning human behavior, pathogen dynamics, weather and environmental conditions. Research interest has been fueled by the increased availability of rich data sources capturing previously unobservable facets and also due to initiatives from government public health and funding agencies. This has resulted, in particular, in a spate of work on 'data-centered' solutions which have shown potential in enhancing our forecasting capabilities by leveraging non-traditional data sources as well as recent innovations in AI and machine learning. This survey delves into various data-driven methodological and practical advancements and introduces a conceptual framework to navigate through them. First, we enumerate the large number of epidemiological datasets and novel data streams that are relevant to epidemic forecasting, capturing various factors like symptomatic online surveys, retail and commerce, mobility, genomics data and more. Next, we discuss methods and modeling paradigms focusing on the recent data-driven statistical and deep-learning based methods as well as on the novel class of hybrid models that combine domain knowledge of mechanistic models with the effectiveness and flexibility of statistical approaches. We also discuss experiences and challenges that arise in real-world deployment of these forecasting systems including decision-making informed by forecasts. Finally, we highlight some challenges and open problems found across the forecasting pipeline.

研究の動機と目的

• コロナウイルス病19（COVID-19）パンデミックへの対応を踏まえた、データ駆動型流行予測に関する研究の蓄積を統合すること。
• 予測精度を向上させるために用いられる、臨床、デジタル、行動、ゲノム、環境、政策の多様なデータソースを特定・分類すること。
• 統計的手法、機械学習手法、ハイブリッドモデリングアプローチの強みと限界を、流行予測の文脈で評価すること。
• 予測システムの不確実性の定量化、説明可能性、実世界への展開における重要な課題に対処すること。
• 予測出力を公衆衛生意思決定や意思決定プロセスに整合させる概念的フレームワークを提唱すること。

提案手法

• 臨床監視、デジタル監視、行動データ、ゲノム、環境、政策データの6分野にまたがる20種類以上のデータタイプを体系的に分類する。
• 実数値予測、イベントベースの予測、流行学的指標推定の3つの予測タスクに分類し、それぞれに適した評価指標を設定する。
• スパース線形モデル、自己回帰的手法、ビジョンおよび言語モデル、時空間のインダクティブバイアスを有するニューラルネットワークを含む、統計モデルおよびディープラーニングモデルをレビューする。
• データ同化、パrameter推定、乖離モデリングを通じて、メカニズムベースのモデル（例：コンpartimentalモデル、エージェントベースモデル）とデータ駆動型コンponentsを統合するハイブリッドモデリングパラダイムを導入する。
• 非パラメトリックニューラルモデルと不確実性定量化技術の活用を提言し、エピステミック不確実性とアレアトリック不確実性を区別するためのキャリブレーション向上を図る。
• 人間を含むシステム（human-in-the-loop）とテクニカル デット管理の推奨を通じて、実世界の予測展開における耐性と再現可能性を向上させること。

実験結果

リサーチクエスチョン

• RQ1 移動データ、ソーシャルメディア、下水監視データなどの非伝統的データソースは、どのように流行予測の精度を向上させることができるか？
• RQ2 純粋な統計的手法、ディープラーニング、ハイブリッドメカニズム的統計モデルの間で、予測における主な方法論的差異とトレードオフは何か？
• RQ3 特に発症率の低い地域や変動が大きい地域において、予測の不確実性をよりよく定量化・伝達するにはどうすればよいか？
• RQ4 テクニカル デットと専門家の干渉は、実世界の予測システムにおいて果たす役割は何か？ そして、それらを体系的に管理するにはどうすればよいか？
• RQ5 より良いターゲット、可視化、評価指標を通じて、公衆衛生意思決定者にとってより実行可能となるように、予測出力をどのように改善できるか？

主な発見

• 移動データ、オンライン症状調査、下水監視を含むマルチモーダルデータの統合は、最近のパンデミック予測チャレンジにおいて、短期予測性能の顕著な向上をもたらした。
• データ同化や乖離モデリングを通じて、メカニズムベースの疾病ダイナミクスとデータ駆動型コンponentsを統合するハイブリッドモデルは、多くの実世界の予測設定において、純粋な統計的またはメカニズムベースのモデルを上回る性能を示した。
• 非パラメトリックニューラルネットワークなどのモデルからの確率的予測は、特に急増期における不確実性を捉える上で、従来のアンサンブル手法に比べてキャリブレーションが向上している。
• 不確実性の定量化は依然として大きな課題であり、カバレッジ指標は真の信頼性を反映しないことが多く、とくに発症率が低いか、変動が大きい地域で顕著である。
• データクリーニング、パrameterチューニング、外れ値除去を含む人間による干渉は、モデル性能に大きな影響を与える技術的デットの主要因であり、評価において体系的に考慮する必要がある。
• WIS、MAE、カバレッジといった標準化された評価指標は広く使われているが、地域間での一貫性やイベントベースの予測（例：ピーク時期の特定）には脆弱であることが示され、文脈に適した新たな評価フレームワークの必要性が浮き彫りになった。