[論文レビュー] Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future

Harshavardhan Kamarthi, Alexander Rodríguez+1 more|arXiv (Cornell University)|Jun 8, 2021

Anomaly Detection Techniques and Applications参考文献 44被引用数 4

ひとこと要約

Back2Future (B2F) は、特徴量と予測対象の両方が時間経過とともに見直される多変量バックフィルダイナミクスをモデル化することで、リアルタイム予測を向上させる画期的なディープラーニングフレームワークである。グラフ畳み込みおよび再帰型ニューラルネットワークを用いて予測値を精緻化し、COVID-19予測モデルのトップクラスで6.65%から11.24%の改善を達成するとともに、ベースライン比で18%の向上を示した。また、リアルタイム予測値を安定した見直し済みの真値と一致させることで、モデル評価の正確性も向上させた。

ABSTRACT

In real-time forecasting in public health, data collection is a non-trivial and demanding task. Often after initially released, it undergoes several revisions later (maybe due to human or technical constraints) - as a result, it may take weeks until the data reaches to a stable value. This so-called 'backfill' phenomenon and its effect on model performance has been barely studied in the prior literature. In this paper, we introduce the multi-variate backfill problem using COVID-19 as the motivating example. We construct a detailed dataset composed of relevant signals over the past year of the pandemic. We then systematically characterize several patterns in backfill dynamics and leverage our observations for formulating a novel problem and neural framework Back2Future that aims to refines a given model's predictions in real-time. Our extensive experiments demonstrate that our method refines the performance of top models for COVID-19 forecasting, in contrast to non-trivial baselines, yielding 18% improvement over baselines, enabling us obtain a new SOTA performance. In addition, we show that our model improves model evaluation too; hence policy-makers can better understand the true accuracy of forecasting models in real-time.

研究の動機と目的

• リアルタイム予測において、予測対象変数と外生的特徴量の両方が後から見直されるという未だ十分に検討されていない多変量バックフィル問題に取り組むこと。
• COVID-19パンデミック期における多様な信号におけるバックフィルダイナミクスを特徴づけ、モデル性能に影響を及ぼすパターンを同定すること。
• 特徴量と地域間の見直しパターンを活用してリアルタイム予測を精緻化する一般化可能なニューラルフレームワーク Back2Future (B2F) を開発すること。
• 完全に見直されたデータに対する真の精度を反映するように、性能指標を是正することによりモデル評価を改善すること。
• 公衆衛生を越えて、バックフィルが見られる他の分野、特にマクロ経済予測への応用可能性を示すことで、フレームワークの一般化可能性を拡張すること。

提案手法

• B2F は、バックフィルパターンにおける特徴量間および地域間の類似性を捉えるために、グラフ再帰型ニューラルネットワーク (GRNN) を用いてバックフィルダイナミクスをモデル化する。
• モデルは、双方向GRUを用いて特徴量の時系列的バックフィル軌跡を符号化することで、特徴量の潜在的表現を学習する。
• 得られた表現を、歴史的なモデル予測と統合することで、見直し済みの真値に近づくようにリアルタイム予測を精緻化する。
• フレームワークは、ベースモデルの再トレーニングを必要とせず、多様な予測モデルにラッパーとして適用可能である。
• 地域信号グラフ上でのグラフ畳み込み層を用いて、バックフィルパターンの空間的および時間的依存性を統合的にモデル化する。
• 最終的な見直し済みのターゲットとの間の平均絶対誤差 (MAE) を最小化するように、エンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 リアルタイム予測において、COVID-19パンデミック期に、疫学的および経済的信号ごとにバックフィルダイナミクスはどのように変化するか？
• RQ2 見直しのない特徴量値は、リアルタイム予測モデルの性能をどの程度劣化させるか？
• RQ3 バックフィルパターンにおける信号間および地域間の類似性を活用することで、予測精度を向上させることは可能か？
• RQ4 限られた見直しデータしか入手できない状況でも、バックフィルに配慮したモデルはどの程度の速さで安定した性能を達成できるか？
• RQ5 提案されたフレームワークは、公衆衛生を越えて、バックフィルが見られる他の分野、例えばマクロ経済予測などに一般化可能か？

主な発見

• Back2Future は、見直し済みデータにおける平均絶対誤差 (MAE) において、トップクラスのCOVID-19予測モデルを6.65%から11.24%向上させた。
• 非自明なベースライン比で、完全に見直されたターゲットにおける予測誤差を18%低減した。
• B2F は、データ入手後6週間以内に性能が安定化し、限られた見直し履歴でも迅速に適応する能力を示した。
• 異常な見直し（例：第5週に48%の誤差スパイク）が発生した際、アンサンブルモデルでは予測誤差を最大74.2%まで低減した。
• 複数の候補モデルにおいて、GDP予測が6%から15%向上し、マクロ経済予測分野への一般化可能性を裏付けた。
• B2F は、リアルタイムの性能指標を安定した最終的なMAEスコアに近づけることで、モデル精度のより良い評価を可能にした。