[论文解读] MixSeq: Connecting Macroscopic Time Series Forecasting with Microscopic Time Series Data

Zhibo Zhu, Ziqi Liu+5 more|arXiv (Cornell University)|Oct 27, 2021

Time Series Analysis and Forecasting被引用 7

一句话总结

MixSeq 提出了一种端到端的混合模型，通过将微观时间序列聚类为潜在组件，并使用 Seq2seq 架构对每个聚类进行建模，从而提升宏观时间序列预测的准确性。通过利用聚类后组件的较低方差，MixSeq 在最优聚类数设置下，相较于直接的宏观层面建模，实现了更优的预测精度，尤其在聚类数设置合理时表现更佳。

ABSTRACT

Time series forecasting is widely used in business intelligence, e.g., forecast stock market price, sales, and help the analysis of data trend. Most time series of interest are macroscopic time series that are aggregated from microscopic data. However, instead of directly modeling the macroscopic time series, rare literature studied the forecasting of macroscopic time series by leveraging data on the microscopic level. In this paper, we assume that the microscopic time series follow some unknown mixture probabilistic distributions. We theoretically show that as we identify the ground truth latent mixture components, the estimation of time series from each component could be improved because of lower variance, thus benefitting the estimation of macroscopic time series as well. Inspired by the power of Seq2seq and its variants on the modeling of time series data, we propose Mixture of Seq2seq (MixSeq), an end2end mixture model to cluster microscopic time series, where all the components come from a family of Seq2seq models parameterized by different parameters. Extensive experiments on both synthetic and real-world data show the superiority of our approach.

研究动机与目标

• 探究是否可以通过利用底层的微观时间序列数据来提升宏观时间序列预测的准确性。
• 将微观时间序列建模为具有较低方差的潜在组件混合，以提升预测的鲁棒性。
• 开发一种端到端的混合模型 MixSeq，对微观序列进行聚类，并对每个聚类应用 Seq2seq 模型。
• 优化聚类数 K，以在方差降低与过拟合之间取得平衡。
• 在合成与真实世界的时间序列数据集上验证该方法，证明其在性能上优于经典方法。

提出的方法

• 假设微观时间序列由具有 K 个分量的潜在混合模型生成，每个分量具有由 Φz 参数化的独立分布。
• 采用基于随机编码变分贝叶斯算法进行后验推断，并实现 MixSeq 的端到端训练。
• 应用一系列 Seq2seq 模型（如 Transformers、TCN）作为分量，每个分量具有独立参数，用于建模每个聚类内的时间序列。
• 根据潜在分量分配 z_i 对微观时间序列进行聚类，然后通过汇总所有聚类的预测结果来预测宏观时间序列。
• 在实验中采用因果膨胀卷积 Transformer 作为预测主干网络，通过二分搜索对 K 进行超参数调优。
• 通过敏感性分析优化聚类数量 K，以避免过拟合并保持分量级别预测的低方差。

实验结果

研究问题

• RQ1 通过建模微观时间序列数据而非孤立处理宏观序列，能否提升宏观时间序列预测的性能？
• RQ2 将微观时间序列聚类为潜在分量是否能降低方差并提升预测准确性？
• RQ3 聚类数 K 如何影响预测模型的性能？
• RQ4 Seq2seq 模型的混合是否能有效捕捉微观时间序列之间的异质性模式？
• RQ5 所提出的 MixSeq 框架是否比直接的宏观层面建模或经典预测方法更有效？

主要发现

• 在合成数据上，当 K=3（真实情况）时，MixSeq 相较于直接宏观建模基线（Macro baseline）在 SMAPE 上实现了 15.5% 的相对性能提升。
• 在 Rossmann 数据集上，当 K=5 时，MixSeq 的 R0.5 损失为 0.0227，优于 Macro baseline（0.0274）及其他模型如 TCN 和 ConvTrans。
• 在 M5 数据集上，当 K=7 时，MixSeq 的 R0.5 损失为 0.0245，低于 Macro baseline（0.0274），且与最先进模型具有竞争力。
• 在 Wiki 数据集上，当 K=10 时，MixSeq 的 R0.5 损失为 0.0440，优于 Macro baseline（0.0471）及其他模型如 DeepAR 和 TCN。
• 敏感性分析表明，当 K 偏离最优值时性能下降，证实了聚类数量超参数调优的重要性。
• 在微观时间序列数量较少的数据集（如 Rossmann）中，该方法对 K 最为敏感，表明在样本量较低的场景下，聚类质量尤为关键。