[论文解读] COT-GAN: Generating Sequential Data via Causal Optimal Transport

Tianlin Xu, Li Kevin Wenliang+2 more|arXiv (Cornell University)|Jun 15, 2020

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 37

一句话总结

COT-GAN 引入一种基于因果最优传输的对抗框架，具有熵正则化和混合 Sinkhorn 散度，用于训练序列数据的隐式生成模型，在时间序列和视频任务中实现稳定性与强性能。

ABSTRACT

We introduce COT-GAN, an adversarial algorithm to train implicit generative models optimized for producing sequential data. The loss function of this algorithm is formulated using ideas from Causal Optimal Transport (COT), which combines classic optimal transport methods with an additional temporal causality constraint. Remarkably, we find that this causality condition provides a natural framework to parameterize the cost function that is learned by the discriminator as a robust (worst-case) distance, and an ideal mechanism for learning time dependent data distributions. Following Genevay et al.\ (2018), we also include an entropic penalization term which allows for the use of the Sinkhorn algorithm when computing the optimal transport cost. Our experiments show effectiveness and stability of COT-GAN when generating both low- and high-dimensional time series data. The success of the algorithm also relies on a new, improved version of the Sinkhorn divergence which demonstrates less bias in learning.

研究动机与目标

• 通过隐式生成模型来激发并解决生成现实序列数据的挑战。
• 引入因果最优传输（COT）作为一个框架，将传输计划在时间上限制为非预见性。
• 开发带有熵正则化的 COT 目标和一个带偏置鲁棒性的混合 Sinkhorn 散度，用于小批量训练。
• 提出一个对抗训练算法（COT-GAN），学习时间相关的数据分布。
• 在低维和高维时间序列及视频数据上展示有效性和稳定性。

提出的方法

• 定义因果传输计划 Pi^K(mu,nu)，其中在时间 t 的传输仅依赖于时间 t 及之前的源数据。
• 将正则化的 COT 公式化为: K_c,epsilon(mu,nu)=E^{pi^K}_{c,epsilon}[c(x,y)].
• 证明等价性：等价于对一族非因果成本 c+l 的最大化，其中 l ∈ L(mu)。
• 引入熵正则化和混合 Sinkhorn 散度以降低小批量偏差：W_hat^{mix}_{c,e}(mu,nu)，对批次项进行混合。
• 将成本参数化为 c^K_phi(x,y)=c(x,y)+sum_t sum_j h^j_t(y) Delta_{t+1}M^j(x)，以自适应地强制因果性。
• 引入鞅惩罚以鼓励学习的 M 满足近似鞅性质。
• 以对抗目标进行训练：在判别器上最大化混合 Sinkhorn 项，同时在生成器上进行最小化（算法 1）。
• 对基于批次的训练的每次迭代的复杂度给出 O((J+d)LT m^2)。

实验结果

研究问题

• RQ1 COT 是否能够约束传输计划以捕捉时序数据生成中的因果时序依赖？
• RQ2 熵正则化结合混合 Sinkhorn 散度是否降低小批量训练中的估计偏差？
• RQ3 COT-GAN 是否在时间序列和视频数据上优于现有的序列生成模型（如 TimeGAN、WaveGAN、SinkhornGAN）？
• RQ4 所提鞅惩罚和基于因果性的成本如何影响时间相关分布的学习？
• RQ5 该方法是否可扩展到更高维的序列以及具有时空结构的视频数据？

主要发现

• COT-GAN 在多变量时间序列和脑电数据上相对于基线在时间相关性和空间相关性对齐方面具有竞争力甚至更优的样本质量。
• 混合 Sinkhorn 散度降低了小批量训练中的偏差，在各实验中提高了向期望数据分布收敛的效果。
• 在视频数据集（Sprites 与人类动作）上，COT-GAN 相对于 MoCoGAN 和最小混合 Sinkhorn 基线取得了更有利的指标（FVD、FID、KVD、KID）。
• 消融研究表明，混合 Sinkhorn 散度和鞅惩罚均对性能提升有贡献，其中混合 Sinkhorn 项影响尤为显著。
• COT-GAN 展示了对低维和高维顺序数据（包括高维视频帧）的稳健性能。