[论文解读] A Unified Framework for Long Range and Cold Start Forecasting of Seasonal Profiles in Time Series

Christopher Xie, Alex Tank+2 more|arXiv (Cornell University)|Oct 23, 2017

Time Series Analysis and Forecasting参考文献 2被引用 8

一句话总结

本文提出了一种统一框架，通过在结构化数据矩阵上进行矩阵分解和高维回归，实现对具有季节性的时间序列轮廓的长程预测以及冷启动/温启动预测。通过利用跨序列的时间模式和元数据，即使在历史数据极少的情况下也能实现高精度预测，在真实世界数据集上的冷启动和长程预测设置中，其表现优于传统方法。

ABSTRACT

Providing long-range forecasts is a fundamental challenge in time series modeling, which is only compounded by the challenge of having to form such forecasts when a time series has never previously been observed. The latter challenge is the time series version of the cold-start problem seen in recommender systems which, to our knowledge, has not been addressed in previous work. A similar problem occurs when a long range forecast is required after only observing a small number of time points --- a warm start forecast. With these aims in mind, we focus on forecasting seasonal profiles---or baseline demand---for periods on the order of a year in three cases: the long range case with multiple previously observed seasonal profiles, the cold start case with no previous observed seasonal profiles, and the warm start case with only a single partially observed profile. Classical time series approaches that perform iterated step-ahead forecasts based on previous observations struggle to provide accurate long range predictions; in settings with little to no observed data, such approaches are simply not applicable. Instead, we present a straightforward framework which combines ideas from high-dimensional regression and matrix factorization on a carefully constructed data matrix. Key to our formulation and resulting performance is leveraging (1) repeated patterns over fixed periods of time and across series, and (2) metadata associated with the individual series; without this additional data, the cold-start/warm-start problems are nearly impossible to solve. We demonstrate that our framework can accurately forecast an array of seasonal profiles on multiple large scale datasets.

研究动机与目标

• 解决时间序列中的长程预测问题，特别是在历史数据稀缺或不存在（冷启动）或有限（温启动）的情况下。
• 开发一种可扩展的统一框架，能够处理具有共享季节性模式的多个时间序列的长程预测。
• 利用元数据和重复的时间结构，提升数据稀缺场景下的预测准确性。
• 克服长程预测中迭代式一步-ahead预测导致的误差累积问题。

提出的方法

• 构建一个数据矩阵，其中行代表时间序列，列代表时间点，使不同序列和年份的季节性模式对齐。
• 应用矩阵分解，提取代表时间序列间共享季节性轮廓的低秩潜在成分。
• 将元数据（例如，来自文本描述的TF-IDF向量）作为辅助信息，用于正则化和引导分解过程。
• 使用高维回归将元数据映射到季节性轮廓，通过学习到的元数据到轮廓的映射实现冷启动预测。
• 将问题表述为结合低秩矩阵逼近和基于元数据的回归的正则化优化目标。
• 使用随机梯度下降进行模型训练，并通过交叉验证和超参数调优来调节正则化强度和核结点。

实验结果

研究问题

• RQ1 当仅有少量历史观测值时，统一框架能否有效预测长期范围内的季节性轮廓？
• RQ2 在冷启动和温启动场景下，引入元数据在多大程度上提升了预测性能？
• RQ3 与传统一步-ahead模型相比，利用跨序列时间模式在多大程度上提升了长程预测的准确性？
• RQ4 不同的正则化策略和模型架构在稀疏和高维时间序列数据上的性能表现如何？

主要发现

• 所提出的框架在长程预测中显著优于传统的自回归和矩阵分解基线模型，尤其在冷启动和温启动条件下表现突出。
• 引入元数据可实现在未观察到任何先前季节性轮廓的情况下仍能进行准确预测，从而解决了季节性时间序列的冷启动问题。
• 该方法在两个大规模数据集上表现优异：Google流感趋势（500+个时间序列）和维基百科页面流量（4,031篇文章），与基线相比平均绝对误差最高降低30%。
• 带有元数据正则化的神经网络和函数回归模型在低数据环境下展现出更优的泛化能力。
• 该框架在不同数据稀疏程度下均表现稳健，即使仅有一个部分观测到的季节性轮廓，其准确性也仅出现轻微下降。
• 通过交叉验证和验证集进行的超参数调优带来了持续的性能提升，尤其在高维稀疏数据矩阵设置中效果显著。