[論文レビュー] MixSeq: Connecting Macroscopic Time Series Forecasting with Microscopic Time Series Data

Zhibo Zhu, Ziqi Liu+5 more|arXiv (Cornell University)|Oct 27, 2021

Time Series Analysis and Forecasting被引用数 7

ひとこと要約

MixSeqは、微視的時系列を潜在的コンポーネントにクラスタリングし、各コンポーネントをSeq2seqアーキテクチャでモデル化することで、マクロな時系列予測を向上させるエンドツーエンドの混合モデルを提案する。クラスタリングされたコンポーネントの分散が低いため、特に最適なコンポーネント数が設定された場合、直接的なマクロレベルのモデリングに比べて優れた予測精度を達成する。

ABSTRACT

Time series forecasting is widely used in business intelligence, e.g., forecast stock market price, sales, and help the analysis of data trend. Most time series of interest are macroscopic time series that are aggregated from microscopic data. However, instead of directly modeling the macroscopic time series, rare literature studied the forecasting of macroscopic time series by leveraging data on the microscopic level. In this paper, we assume that the microscopic time series follow some unknown mixture probabilistic distributions. We theoretically show that as we identify the ground truth latent mixture components, the estimation of time series from each component could be improved because of lower variance, thus benefitting the estimation of macroscopic time series as well. Inspired by the power of Seq2seq and its variants on the modeling of time series data, we propose Mixture of Seq2seq (MixSeq), an end2end mixture model to cluster microscopic time series, where all the components come from a family of Seq2seq models parameterized by different parameters. Extensive experiments on both synthetic and real-world data show the superiority of our approach.

研究の動機と目的

• マクロな時系列予測精度が、下位の微視的時系列データを活用することで向上するかどうかを調査すること。
• 微視的時系列を、分散が低い各潜在的コンポーネントにモデル化することで、予測のロバスト性を向上させること。
• 微視的系列をクラスタリングし、各クラスタにSeq2seqモデルを適用するエンドツーエンドの混合モデル、MixSeqを開発すること。
• 予測の分散低減と過学習のバランスを取るために、コンポーネント数Kを最適化すること。
• 合成および実世界の時系列データセットを用いて手法を検証し、従来のアプローチよりも優れた性能を示すこと。

提案手法

• 微視的時系列がK個のコンポーネントを持つ潜在的混合モデルから生成され、各コンポーネントはパラメータΦzで定義された異なる分布を持つと仮定する。
• 後方推論とMixSeqのエンドツーエンド学習のため、確率的自己符号化変分ベイジアンアルゴリズムを用いる。
• 各コンポーネントに固有のパラメータを持つ、Seq2seqモデルの族（例：Transformer、TCN）を適用し、各クラスタ内の時系列をモデル化する。
• 微視的時系列を潜在的コンポーネントの割り当てz_iに基づいてクラスタリングし、全クラスタの予測を合算することでマクロな系列を予測する。
• 実験では、因果的畳み込みTransformerを予測バックボーンとして採用し、Kの最適化はバイナリサーチで行う。
• 過学習を回避し、コンポーネントレベルの予測で分散を低く保つために、クラスタ数Kを感度分析を用いて最適化する。

実験結果

リサーチクエスチョン

• RQ1 マクロな時系列予測は、マクロ系列を単独で扱う代わりに、微視的時系列データをモデル化することで向上するか？
• RQ2 微視的時系列を潜在的コンポーネントにクラスタリングすることで分散が低減され、予測精度が向上するか？
• RQ3 コンポーネント数Kが予測モデルの性能にどのように影響するか？
• RQ4 Seq2seqモデルの混合は、微視的時系列間の異種パターンを効果的に捉えることができるか？
• RQ5 提案されたMixSeqフレームワークは、直接的なマクロレベルモデリングや従来の予測手法よりも効果的か？

主な発見

• MixSeqは直接的なマクロレベル予測（Macro baseline）を著しく上回り、K=3（真値）のとき、合成データでSMAPEが15.5%相対的に改善された。
• Rossmannデータセットでは、K=5のMixSeqがR0.5損失0.0227を達成し、Macro baseline（0.0274）およびTCNやConvTransなどの他のモデルを上回った。
• M5データセットでは、K=7のMixSeqがR0.5損失0.0245を達成し、Macro baseline（0.0274）を下回り、最先端のモデルと同等の性能を示した。
• Wikiデータセットでは、K=10のMixSeqがR0.5損失0.0440を達成し、Macro baseline（0.0471）およびDeepARやTCNなどの他のモデルを上回った。
• 感度分析から、最適値からKが逸脱すると性能が低下することが確認され、クラスタ数のハイパーパrameterチューニングの重要性が示された。
• 微視的時系列が少ないデータセット（例：Rossmann）ではKに最も感受性が高く、これは低サンプル環境下でのクラスタ品質が極めて重要であることを示している。