[论文解读] Conditional GAN for timeseries generation

Kaleb Smith, Anthony O. Smith|arXiv (Cornell University)|Jun 30, 2020

Time Series Analysis and Forecasting参考文献 34被引用 63

一句话总结

TSGAN 使用两阶段 Wasserstein GAN（一个无条件，一个有条件）从类谱图表示生成现实的 1D 时间序列，从而实现小样本生成。它在 70 个 UCR 时间序列数据集上相对于基线 WGAN，在 Fréchet Inception Distance 和基于分类的评估方面显示出改进。

ABSTRACT

It is abundantly clear that time dependent data is a vital source of information in the world. The challenge has been for applications in machine learning to gain access to a considerable amount of quality data needed for algorithm development and analysis. Modeling synthetic data using a Generative Adversarial Network (GAN) has been at the heart of providing a viable solution. Our work focuses on one dimensional times series and explores the few shot approach, which is the ability of an algorithm to perform well with limited data. This work attempts to ease the frustration by proposing a new architecture, Time Series GAN (TSGAN), to model realistic time series data. We evaluate TSGAN on 70 data sets from a benchmark time series database. Our results demonstrate that TSGAN performs better than the competition both quantitatively using the Frechet Inception Score (FID) metric, and qualitatively when classification is used as the evaluation criteria.

研究动机与目标

• 动机：在金融、医疗和科学等领域面临的真实数据有限的情形，推动合成时间序列的生成以支持机器学习。
• 提出一种新颖的两阶段架构（TSGAN），利用类谱图表示来引导时间序列的生成。
• 在一个大规模、多样化的 1D 时间序列基准上进行评估，以展示少样本学习能力和生成质量。
• 与基线 WGAN 进行比较，并分析定量和定性结果，以验证所生成序列的真实感和多样性。

提出的方法

• 按顺序使用两个 Wasserstein GAN：WGAN 1 从随机潜在向量 z 生成一个 2D 类谱图图像；WGAN 2 是一个条件 GAN，接收该类谱图图像以生成一个 1D 时间序列。
• 采用 WGAN-GP（梯度惩罚）来强制 1-Lipschitz 条件并稳定训练。
• 独立训练 WGAN 1 和 WGAN 2，其中 WGAN 2 以 WGAN 1 的输出为条件，以实现少样本学习并捕捉频域信息。
• 将时间序列生成表示为将潜在空间转化为类谱图，然后解码为时域信号，利用第二个生成器中的编码器式结构。
• 使用全卷积网络（FCN）和简单的 1D/2D 条件方案，通过改编的 1D Fréchet Inception Distance (FID) 以及 TSTR/TRTS 分类指标来衡量真实样本与生成样本之间的相似性。

实验结果

研究问题

• RQ1 一个将时域生成条件化为频域表示的两阶段 GAN 架构，是否能够在训练数据有限的情况下提升 1D 时间序列的真实感和多样性？
• RQ2 将第二个 GAN 条件化为来自第一个 GAN 的类谱图输出，是否比单一 GAN 方法获得更好的时间序列合成？
• RQ3 在大规模、多样化的单变量时间序列集合上，在少样本训练情景中，该方法在近似数据真实感和下游分类性能方面表现如何？

主要发现

• TSGAN 在若干数据集上在 1D FID 分数上优于基线 WGAN（例如 Beef: 207.1 对 TSGAN vs 638.8 对 WGAN）。
• 在 Gun Point 数据集上，TSGAN 的 FID 为 4.778，而 WGAN 为 39.95，表明在生成信号真实感方面有显著改进。
• TSGAN 通常产生更低的 FID 分数，并且在多个数据集上相比 WGAN，生成的时间序列样本在视觉上更清晰、更准确，尤其是在小型和中型训练规模下。
• 在基于分类的评估（TRTS 与 TSTR）方面，TSGAN 在大多数数据集上优于 WGAN，并且在若干数据集上，使用合成数据训练的下游 FCN 精度有明显提升。
• TSGAN 展现出强大的少样本学习能力，在许多数据集上在有限训练样本下比 WGAN 获得更好的结果（小型和中型子集主导改进）。
• 条件化机制，即第二个 WGAN 从第一个 WGAN 产生的类谱图表示中解码，似乎提供了更丰富的潜在信息，并改善了生成信号的时域和频域特征。