[论文解读] Generalization Properties of Optimal Transport GANs with Latent Distribution Learning

Giulia Luise, Massimiliano Pontil+1 more|arXiv (Cornell University)|Jul 29, 2020

Generative Adversarial Networks and Image Synthesis参考文献 44被引用 12

一句话总结

该论文提出了一种基于最优传输的生成对抗网络（OT-GAN）中生成器与潜在分布的联合学习框架，表明联合优化这两个组件可提升样本复杂度和泛化能力。主要贡献在于理论分析显示，学习潜在分布相比预先固定它，能显著降低统计与计算负担。

ABSTRACT

The Generative Adversarial Networks (GAN) framework is a well-established paradigm for probability matching and realistic sample generation. While recent attention has been devoted to studying the theoretical properties of such models, a full theoretical understanding of the main building blocks is still missing. Focusing on generative models with Optimal Transport metrics as discriminators, in this work we study how the interplay between the latent distribution and the complexity of the pushforward map (generator) affects performance, from both statistical and modelling perspectives. Motivated by our analysis, we advocate learning the latent distribution as well as the pushforward map within the GAN paradigm. We prove that this can lead to significant advantages in terms of sample complexity.

研究动机与目标

• 为解决潜在分布选择与生成器复杂度如何影响GAN泛化能力的理论理解不足问题。
• 研究在OT-GAN中预先固定潜在分布所导致的统计与计算缺陷。
• 提出一种新型GAN估计器，联合学习生成器与潜在分布，实现对任意次高斯潜在分布的渐近学习。
• 理论刻画在精确与近似支撑条件下，所提联合估计器的学习速率。
• 在样本复杂度与性能方面，展示联合学习相比标准GAN训练中固定潜在分布的优势。

提出的方法

• 提出一种联合GAN估计器，同时使用Sinkhorn散度作为目标函数，联合训练生成器网络 $T_\theta$ 与潜在分布 $\eta$。
• 采用基于 $m$ 个粒子的优化方案来表示潜在分布 $\eta$，通过块坐标下降法同时更新 $T_\theta$ 与 $\eta$。
• 使用正则化最优传输（Sinkhorn）散度 $S_\varepsilon$ 作为训练损失，衡量生成分布与目标分布之间的差异。
• 利用Sinkhorn散度的Fréchet导数推导 $T_\theta$ 与 $\eta$ 的梯度，实现端到端反向传播。
• 引入一种扰动采样策略，每粒子采样 $\ell$ 个点，以提升训练过程中的梯度估计精度与稳定性。
• 通过随时间衰减的方式自适应调整Sinkhorn散度的正则化参数 $\varepsilon$，以提升收敛性与近似精度。

实验结果

研究问题

• RQ1 生成器网络的正则性如何影响OT-GAN中推前测度的样本复杂度？
• RQ2 在GAN中预先固定潜在分布会产生哪些统计与计算后果？
• RQ3 联合学习生成器与潜在分布是否能带来更好的泛化性能与样本复杂度？
• RQ4 联合估计器的学习速率与使用固定潜在分布的标准GAN相比如何？
• RQ5 在OT-GAN背景下，学习灵活潜在分布（超越高斯混合模型）具有哪些理论优势？

主要发现

• 理论分析表明，预先固定潜在分布可能导致较差的样本复杂度，尤其当生成器需承担全部建模复杂度时。
• 联合学习生成器与潜在分布可提升样本复杂度，因为潜在分布可分担部分建模负担。
• 所提出的联合估计器可渐近学习任意次高斯潜在分布，突破了高斯混合模型的局限。
• 在螺旋与瑞士卷数据上的实验表明，联合学习方法在模式覆盖与分布匹配方面优于使用固定潜在分布的标准GAN。
• 由于降低了生成器的统计负担，联合估计器在低数据场景下表现出更快的收敛速度与更稳定的训练过程。
• 联合估计器的理论学习速率界比标准GAN更紧致，证实了其更优的泛化特性。