[论文解读] GT-GAN: General Purpose Time Series Synthesis with Generative Adversarial Networks

Jinsung Jeon, Jeonghak Kim+3 more|arXiv (Cornell University)|Oct 5, 2022

Time Series Analysis and Forecasting被引用 21

一句话总结

GT-GAN 提出了一种通用的 GAN 基于框架，通过整合自编码器、NODE/NCDEs 和连续时间流过程，并实现精确似然训练，能够合成规则与不规则时间序列。

ABSTRACT

Time series synthesis is an important research topic in the field of deep learning, which can be used for data augmentation. Time series data types can be broadly classified into regular or irregular. However, there are no existing generative models that show good performance for both types without any model changes. Therefore, we present a general purpose model capable of synthesizing regular and irregular time series data. To our knowledge, we are the first designing a general purpose time series synthesis model, which is one of the most challenging settings for time series synthesis. To this end, we design a generative adversarial network-based method, where many related techniques are carefully integrated into a single framework, ranging from neural ordinary/controlled differential equations to continuous time-flow processes. Our method outperforms all existing methods.

研究动机与目标

• 在不改变体系结构的情况下，提出需要一个能够合成规则和不规则时间序列的单一模型的动机。
• 提出一个 GT-GAN 框架，将 GAN、自编码器、NCDEs 和 CTFPs 与精确似然训练相结合。
• 通过对规则和不规则数据集进行全面实验，证明其相较现有基线具备更优的性能。

提出的方法

• 一个可逆生成器与自编码器耦合，以通过变量代换定理实现精确似然训练。
• 一个自编码器路径，将真实时间序列编码为隐藏向量，并通过 GRU-ODE/GRU 基解码器重构连续路径。
• 一个基于 GAN 的对抗路径，生成器通过持续时间流过程（CTFP）输出隐藏向量，判别器对生成路径进行评估。
• 一个对数密度路径，使生成器能够使用 Hutchinson 的迹估计实现对数密度的精确最大似然训练。
• 将重建损失、GAN 损失和周期性最大似然损失结合的训练过程，以避免模式崩溃。
• 一个统一框架，支持通过从连续路径中采样时间戳来处理不规则时间序列。

实验结果

研究问题

• RQ1 一个单一模型是否可以在不修改体系结构的前提下同时合成规则和不规则时间序列？
• RQ2 将 NCDEs、GRU-ODEs 与 CTFPs 与 GANs 结合是否会提升对多样化时间序列的合成质量？
• RQ3 对时间序列合成中生成器的精确似然训练是否有益？
• RQ4 GT-GAN 相对于在规则与不规则数据集上的专用基线表现如何？

主要发现

方法	Sines (Discriminative)	Stocks (Discriminative)	Energy (Discriminative)	MuJoCo (Discriminative)	Sines (Predictive)	Stocks (Predictive)	Energy (Predictive)	MuJoCo (Predictive)
GT-GAN	.012	.077	.221	.245	.097	.040	.312	.055
TimeGAN	.011	.102	.236	.409	.093	.038	.273	.082
RCGAN	.022	.196	.336	.436	.097	.040	.292	.081
C-RNN-GAN	.229	.399	.499	.412	.127	.038	.483	.055
T-Forcing	.495	.226	.483	.499	.150	.022	.315	.142
P-Forcing	.430	.257	.412	.500	.116	.004	.303	.102
WaveNet	.158	.232	.397	.385	.117	.042	.311	.333
WaveGAN	.277	.217	.363	.357	.134	.041	.307	.324
Original	N/A	N/A	N/A	N/A	N/A	N/A	N/A	N/A

• GT-GAN 在规则时间序列合成方面超越基线，涵盖 Sines、Stocks、Energy 与 MuJoCo 数据集，在判别性和预测性指标上均表现优异。
• GT-GAN 在不规则时间序列上，在多个下降率（30%、50%、70%）下取得了优越的判别性和预测性分数。
• 消融研究表明完整模型优于缺失 Eq.(8) 对数密度训练、预训练或其他子部分的变体。
• 可视化结果表明在规则设置下，GT-GAN 覆盖原始数据分布的能力优于 TimeGAN。
• 消融结果显示集成的体系结构是必要的；移除部分组件会在各任务上降低性能。