[论文解读] If You Like It, GAN It—Probabilistic Multivariate Times Series Forecast with GAN

Alireza Koochali|arXiv (Cornell University)|Jul 8, 2021

Stock Market Forecasting Methods参考文献 28被引用 29

一句话总结

该论文提出ProbCast，一种基于条件生成对抗网络（conditional GAN）的多变量时间序列概率预测模型，可将确定性点预测模型转化为更精确的概率预测模型。通过利用确定性模型的架构来指导生成对抗网络组件的设计，该方法在电力和汇率数据集上实现了稳定训练和卓越性能，CRPS∗分别提升了1.7%和17.2%。

ABSTRACT

The contribution of this paper is two-fold. First, we present ProbCast—a novel probabilistic model for multivariate time-series forecasting. We employ a conditional GAN framework to train our model with adversarial training. Second, we propose a framework that lets us transform a deterministic model into a probabilistic one with improved performance. The motivation of the framework is to either transform existing highly accurate point forecast models to their probabilistic counterparts or to train GANs stably by selecting the architecture of GAN’s component carefully and efficiently. We conduct experiments over two publicly available datasets—an electricity consumption dataset and an exchange-rate dataset. The results of the experiments demonstrate the remarkable performance of our model as well as the successful application of our proposed framework.

研究动机与目标

• 开发一种能够捕捉预测不确定性的概率多变量时间序列预测模型。
• 解决时间序列预测中生成对抗网络训练不稳定及超参数敏感的问题。
• 提出一种框架，将现有确定性预测器转化为更精确的概率模型，同时不损害性能。
• 证明基于生成对抗网络的概率预测方法在小型和大型多变量数据集上均优于确定性基线模型。

提出的方法

• ProbCast采用条件生成对抗网络框架来建模P(Xt+1|Xt, ..., X0)，学习未来值的条件概率分布。
• 生成器使用噪声向量z和一个确定性主干网络（GRU + MLP）生成多变量预测，其架构源自预训练的确定性模型。
• 判别器使用GRU模块后接全连接层，以区分真实未来序列与生成序列，通过对抗损失进行训练。
• 采用混合损失函数，结合标准生成对抗网络损失与基于CRPS∗的目标，以提升概率预测的校准性和锐度。
• 该框架使用遗传算法搜索最优的生成对抗网络组件架构，通过复用确定性模型的结构来缩小搜索空间。
• 输入窗口大小、噪声大小和GRU层配置等超参数通过该框架在每个数据集上进行优化。

实验结果

研究问题

• RQ1 能否在多变量时间序列预测中有效训练条件生成对抗网络，实现稳定收敛？
• RQ2 能否系统性地将确定性点预测模型转化为更精确的概率模型？
• RQ3 所提出的框架是否在提升预测性能的同时缩小了生成对抗网络的架构搜索空间？
• RQ4 与确定性基线相比，所得到的概率模型在真实世界数据集上的校准性和锐度表现如何？

主要发现

• 在电力数据集上，ProbCast的CRPS∗达到232.00，优于其确定性基线（235.96），相对提升1.7%。
• 在较小的汇率数据集上，ProbCast的CRPS∗为8.66×10⁻³，而确定性模型为1.04×10⁻²，相对提升17.2%。
• 该框架成功将确定性模型转化为性能更优的概率模型，证明了来自确定性模型的架构先验可增强生成对抗网络训练的稳定性和性能。
• 该方法在特征数量和数据规模各异的数据集上均表现出良好泛化能力，对高维（电力）和低维（汇率）时间序列均表现出鲁棒性。
• 使用CRPS∗作为评估指标，实现了确定性与概率模型之间的直接比较，ProbCast在校准性和锐度方面表现更优。
• 基于遗传算法的超参数搜索高效识别出最优架构，验证了该框架在降低生成对抗网络超参数调优负担方面的有效性。