[论文解读] PSA-GAN: Progressive Self Attention GANs for Synthetic Time Series

Paul Jeha, Michael Bohlke‐Schneider+6 more|arXiv (Cornell University)|Aug 2, 2021

Time Series Analysis and Forecasting参考文献 7被引用 14

一句话总结

PSA-GAN 提出了一种具有自注意力机制的渐进式生长卷积神经网络生成器，用于生成长序列、高质量的合成时间序列。该方法提升了下游预测任务的性能，并提出了 Context-FID 这一类似 FID 的评估指标，其与预测性能高度相关，从而实现了时间序列应用中 GAN 模型的可靠评估。

ABSTRACT

Realistic synthetic time series data of sufficient length enables practical applications in time series modeling tasks, such as forecasting, but remains a challenge. In this paper we present PSA-GAN, a generative adversarial network (GAN) that generates long time series samples of high quality using progressive growing of GANs and self-attention. We show that PSA-GAN can be used to reduce the error in two downstream forecasting tasks over baselines that only use real data. We also introduce a Frechet-Inception Distance-like score, Context-FID, assessing the quality of synthetic time series samples. In our downstream tasks, we find that the lowest scoring models correspond to the best-performing ones. Therefore, Context-FID could be a useful tool to develop time series GAN models.

研究动机与目标

• 为解决在数据稀缺的预测任务中生成长序列、真实感强的时间序列的挑战。
• 通过合成数据增强提升下游预测任务的性能。
• 开发一种可靠的、类似 FID 的评估指标，用于衡量合成时间序列的质量。
• 实现 GAN 在冷启动和数据补全场景中的有效应用。

提出的方法

• PSA-GAN 采用渐进式生长策略，从低分辨率时间序列开始，逐步增加网络层以捕捉更精细的细节。
• 通过引入自注意力机制，捕捉标准卷积或循环层难以建模的长程时间依赖关系。
• 在 GAN 框架中联合训练生成器与判别器，采用对抗损失、特征匹配损失和矩匹配损失，以稳定训练过程并提升生成样本质量。
• 提出 Context-FID 作为类似 Fréchet Inception Distance 的指标，利用无监督时间序列嵌入来评估合成样本的真实性。
• 模型在真实时间序列数据上进行训练，并通过下游预测任务和 Context-FID 分数进行评估。
• 消融实验验证了自注意力机制、矩匹配损失以及逐层渐进式引入对模型性能的贡献。

实验结果

研究问题

• RQ1 GAN 模型能否生成长序列、真实感强的时间序列，并有效提升下游预测任务的性能？
• RQ2 所提出的 Context-FID 指标是否能可靠预测合成时间序列在预测任务中的实用性？
• RQ3 自注意力机制与渐进式生长策略如何协同提升长序列的生成质量？
• RQ4 PSA-GAN 是否能有效应对数据稀缺问题，如冷启动或缺失数据场景？

主要发现

• 在所有评估的 GAN 模型中，PSA-GAN 的 Context-FID 分数最低，表明其生成样本质量最优。
• Context-FID 与预测任务中 NRMSE 的皮尔逊相关系数为 0.71，斯皮尔曼等级相关系数为 0.67，表明 Context-FID 具有强大的预测能力。
• 在数据增强和远距离预测任务中，PSA-GAN 表现优于基线模型，使用上下文信息时在所有数据集上的平均 NRMSE 为 1.18。
• PSA-GAN-C（带上下文）在 4 个数据集中的 3 个上优于 DeepAR-C，表明其作为独立预测模型具有强大的竞争力。
• 消融实验确认，自注意力机制、矩匹配损失以及渐进式层引入是实现最优性能的关键组件。
• Context-FID 分数最低的模型在下游预测实验中始终表现最佳。