[論文レビュー] DynaConF: Dynamic Forecasting of Non-Stationary Time Series

Siqi Liu, Andreas Lehrmann|arXiv (Cornell University)|Sep 17, 2022

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

DynaConF は、ベイジアン動的モデルと因子化された深層条件付き分布ネットワークを用いて、定常的条件付き分布モデリングと時変動的な非定常ダイナミクスを明示的に分離することにより、非定常時系列の予測のための画期的なディープラーニングフレームワークを提案する。合成データおよび実世界のデータセットにおいて、特にダイナミックな分布シフト下でも、SOTA モデルを上回り、予測誤差を低減する。

ABSTRACT

Deep learning has shown impressive results in a variety of time series forecasting tasks, where modeling the conditional distribution of the future given the past is the essence. However, when this conditional distribution is non-stationary, it poses challenges for these models to learn consistently and to predict accurately. In this work, we propose a new method to model non-stationary conditional distributions over time by clearly decoupling stationary conditional distribution modeling from non-stationary dynamics modeling. Our method is based on a Bayesian dynamic model that can adapt to conditional distribution changes and a deep conditional distribution model that handles multivariate time series using a factorized output space. Our experimental results on synthetic and real-world datasets show that our model can adapt to non-stationary time series better than state-of-the-art deep learning solutions.

研究の動機と目的

• 現在のディープラーニングモデルが時間不変性の仮定を内蔵しているため、非定常的条件付き分布を有する時系列の予測に困難を抱えるという課題に対処すること。
• 時間経過に伴う条件付き分布の変化を明示的にモデリングする手法を開発し、未観測の分布シフトへの一般化性能を向上させること。
• 時間不変（定常）な分布モデリングと時間変動（非定常）なダイナミクスモデリングを分離することで、適応性と推論効率を向上させること。
• 時系列の条件付き分布における新たな、未観測の分布シフトに、テスト時における適応を可能にすること。
• 統計的性質が変化する多変量時系列、特に未観測または新規の要因によってダイナミクスが変化する状況において、予測性能を向上させること。

提案手法

• モデルは、非定常ダイナミクスの適応的学習を可能にするために、時変動する条件付き分布を表現するベイジアン動的モデルを用いる。
• 制御変数を介して定常的条件付き分布を学習できるように、因子化された出力空間を持つ深層条件付き分布モデルを採用する。
• 潜在状態の事後分布を近似するために変分後退を用い、計算量が時間に対して線形に増加するように設計され、長期間のシーケンスへの効率的な学習が可能である。
• 非定常状態下での効率的推論と事後分布推定を可能にするために、Rao-Blackwellized パarticle フィルタを統合する。
• 制御変数が時変動成分を明示的にパrameter化することで、定常的分布学習と動的シフトモデリングの分離を実現する。
• 再構成と事後正則化のバランスを取る微分可能な変分推論目的関数を用いて、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 時間不変パラメータの仮定をしないで、非定常的条件付き分布を効果的に学習・適応できるか？
• RQ2 定常的分布モデリングと非定常ダイナミクスモデリングを分離することで、未観測の分布シフトへの一般化性能がどのように向上するか？
• RQ3 提案手法は、急激な変化または連続的な分布変化を伴う時系列において、SOTA モデルをどの程度上回るか？
• RQ4 未観測または新規の要因によって生じる非定常性を有する実世界データセットにおいて、モデルの性能はいかがであるか？
• RQ5 時変動ダイナミクスの明示的モデリングが、テスト時適応における予測不確実性とロバストネスに与える影響は何か？

主な発見

• 合成データでは、DynaConF はテスト時の CRPS が 0.301、MSE が 3.7 であり、すべてのベースライン、特に誤差がより高い StatiConF（アブレーションモデル）を上回った。これは動的モデリングの必要性を示している。
• Walmart データセットでは、DynaConF は CRPS 0.512、MSE 2.497e-3 を達成し、最良のベースライン（TimeGrad）の CRPS 0.604、MSE 3.190e-2 より顕著に優れていた。
• Temperature データセットでは、DynaConF は CRPS 0.186、MSE 1.017e-3 を達成し、TimeGrad（CRPS 0.195、MSE 1.077e-3）および他のベースラインを上回った。
• 多様なデータセットにおいて一貫した性能を示し、特に条件付き分布の大きなシフトが生じる設定で最大の向上を示した。これは、非定常性の処理を目的とした設計の妥当性を裏付けた。
• アブレーションスタディの結果、StatiConF（定常性のみのバージョン）は DynaConF よりも性能が劣っており、非定常状況下では時変動ダイナミクスの明示的モデリングが不可欠であることを実証した。
• テスト時における未観測の分布シフトに対しても、モデルは効果的に適応した。予測不確実性が低く抑えられ、特に動的環境下で改善されたキャリブレーション指標が示された。