[論文レビュー] Ensemble Machine Learning Methods for Modeling COVID19 Deaths

Rahil Bathwal, Pavan Chitta+2 more|arXiv (Cornell University)|Oct 4, 2020

COVID-19 epidemiological studies参考文献 12被引用数 4

ひとこと要約

本論文は、疫学的（SEIR-QD）および機械学習モデル（LSTM、勾配ブースティングツリー、ランダムフォレスト、ニューラルネットワーク）のハイブリッドを用いて、米国郡レベルのCOVID-19死亡者数の分位数予測を行うアンサンブル機械学習モデルを提案する。モデルは9分位数（10〜90百分位）におけるピンバック損失を最小化し、Caltechモデリングコンペティションにおいて50名以上のチームを上回る最先端の性能を達成した。14日予測のピンバック損失は1.4543、RMSEは0.0896であった。

ABSTRACT

Using a hybrid of machine learning and epidemiological approaches, we propose a novel data-driven approach in predicting US COVID-19 deaths at a county level. The model gives a more complete description of the daily death distribution, outputting quantile-estimates instead of mean deaths, where the model's objective is to minimize the pinball loss on deaths reported by the New York Times coronavirus county dataset. The resulting quantile estimates accurately forecast deaths at an individual-county level for a variable-length forecast period, and the approach generalizes well across different forecast period lengths. We won the Caltech-run modeling competition out of 50+ teams, and our aggregate is competitive with the best COVID-19 modeling systems (on root mean squared error).

研究の動機と目的

• 米国郡レベルの高分解能・局所的パンデミック予測ツールの不足に応えること。州レベルのモデルでは、感染拡大の地域的格差を捉えきれないため。
• 平均予測のみにとどまらず、不確実性と重症度分布を示す10〜90百分位数の完全な分位数予測を提供することで、それらを改善すること。
• 疫学的事前知識（SEIR-QD）とデータ駆動型機械学習モデル（LSTM、勾配ブースティング、ランダムフォレスト）を統合し、郡レベルの予測において強固で一般化可能なモデルを構築すること。
• ピンバック損失指標を用いてモデル性能を最適化することで、異なる分位数における過小予測と過大予測の誤差を非対称に重み付けし、より良い不確実性の定量化を実現すること。
• 政策立案者によるリソース配分や政策意思決定を支援するため、実用的で局所的な予測を提供すること。

提案手法

• ニューヨーク・タイムズ、バークレー、Descartes Labsのデータセットから得られる動的特徴（ラグ付きの感染者数、死亡者数、移動量）と静的特徴（人口密度、郡の人口統計）を統合する。
• ラグ特徴（例：7日および14日ラグ）を用いて時間的依存性を捉え、欠損値がある移動量データは前方補完（forward-fill）で補完する。
• 独自の時系列埋め込み手法により、1日ごとの死亡者数系列を4×4のプーリングされた特徴マップ（16次元ベクトル）に変換し、K-means法（k=6）を用いてクラスタリングすることで、郡固有のクラスタ特徴を生成する。
• 最終的なアンサンブルモデルは、LSTM、勾配ブースティングツリー、ランダムフォレスト、ニューラルネットワーク、およびSEIR-QDの複数のアーキテクチャの予測結果を重み付き平均で統合し、モデルの頑健性を向上させる。
• モデル評価には9分位数ピンバック損失を用い、各分位数ごとの損失の平均値を計算する。この損失関数は、ターゲット分位数に応じて過小予測と過大予測の誤差を非対称にペナルティ付与する。
• モデルは可変長の予測ウィンドウを用いて学習および評価され、2020年5月の米国郡レベルのデータを用いて性能を測定した。

実験結果

リサーチクエスチョン

• RQ1 機械学習と疫学的モデルをハイブリッド化したモデルは、平均予測のみまたは単一モデルアプローチに比べ、郡レベルのCOVID-19死亡者数予測を改善できるか？
• RQ2 ピンバック損失最適化を用いた分位数予測（10〜90百分位数）は、平均予測に比べ、より信頼性が高く情報量が多い予測を提供できるか？
• RQ3 LSTM、勾配ブースティング、ランダムフォレストといった異なる機械学習アーキテクチャと、SEIR-QDといった疫学的モデルをアンサンブルで統合した場合、それぞれの性能はどのように比較できるか？
• RQ4 ラグ付きの動的特徴（感染者数、死亡者数、移動量）および時間的特徴（曜日、日付オフセット）は、予測精度にどの程度寄与しているか？
• RQ5 モデルは可変長の予測期間に対しても一般化可能であり、米国各地の郡において一貫した低誤差を維持できるか？

主な発見

• アンサンブルモデルは、2020年5月25日〜6月4日（14日予測期間）において、ピンバック損失1.4543、RMSE 0.0896を達成し、Caltechモデリングコンペティションで50名以上のチームを上回った。
• LSTMとアンサンブルモデルが最も高い性能を示し、両方の予測期間で最も低いピンバック損失（1.4543）とRMSE（0.0896）を記録した。
• ラグ付きの感染者数、死亡者数、移動量特徴が最も予測力のある入力であり、全モデルにおいてラグ付き感染者数が最も重要な予測変数であった。
• 曜日や日付オフセットといった時間的特徴はモデル性能を向上させた。これは、報告サイクルやパンデミックの段階的移行を捉えている可能性がある。
• 人口密度といった静的特徴は限定的だが非ゼロの予測力を持ち、動的特徴がモデル性能を支配していた。
• モデルは可変長の予測ウィンドウに対しても良好に一般化され、低誤差と一貫した性能を維持した。