[论文解读] Generative Ratio Matching Networks

Akash Srivastava, Kai Xu+2 more|arXiv (Cornell University)|May 31, 2018

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 4

一句话总结

本文提出了一种新型的生成比率匹配（GRAM）方法，用于训练深度生成模型，通过在低维空间中训练判别器以匹配真实数据与生成数据之间的密度比率，从而避免了鞍点优化。与对抗性GAN或MMD-GAN不同，GRAM在CIFAR-10和CelebA数据集上实现了最先进的FID分数，同时具备更高的训练稳定性和对超参数的鲁棒性。

ABSTRACT

Deep generative models can learn to generate realistic-looking images, but many of the most effective methods are adversarial and involve a saddlepoint optimization, which requires a careful balancing of training between a generator network and a critic network. Maximum mean discrepancy networks (MMD-nets) avoid this issue by using kernel as a fixed adversary, but unfortunately, they have not on their own been able to match the generative quality of adversarial training. In this work, we take their insight of using kernels as fixed adversaries further and present a novel method for training deep generative models that does not involve saddlepoint optimization. We call our method generative ratio matching or GRAM for short. In GRAM, the generator and the critic networks do not play a zero-sum game against each other, instead, they do so against a fixed kernel. Thus GRAM networks are not only stable to train like MMD-nets but they also match and beat the generative quality of adversarially trained generative networks.

研究动机与目标

• 解决如GAN等对抗性生成模型存在的训练不稳定性和超参数敏感性问题。
• 克服标准MMD网络在高维数据（如自然图像）上生成质量较差的问题。
• 开发一种训练方法，在保留MMD网络稳定性的同时，提升样本质量以达到或超越对抗性方法。
• 通过使用固定核基判别器，消除生成器与判别器之间所需的鞍点优化。
• 证明在投影空间中进行密度比率匹配可实现原始数据空间中更优的分布匹配。

提出的方法

• 训练一个判别器网络，以估计输入空间中真实数据密度与模型生成密度的比率。
• 通过一个固定的判别器网络将真实样本和生成样本投影到低维空间，以降低内在维度。
• 在投影空间中使用基于核的MMD估计方法，以最小化真实数据与生成数据分布之间的差异。
• 训练生成器以最小化投影后真实数据与生成数据分布之间的MMD，其中判别器作为固定且非学习的对抗对象。
• 利用核Gram矩阵高效计算MMD，而无需对判别器进行数值优化。
• 通过解耦生成器与判别器的训练，避免对抗性训练动态，从而消除对同时进行极小化-极大化优化的需求。

实验结果

研究问题

• RQ1 在低维空间中进行密度比率估计是否能提升基于MMD模型在高维数据上的生成质量？
• RQ2 在训练中避免鞍点优化是否能带来比GAN和MMD-GAN更稳定、更鲁棒的生成模型？
• RQ3 判别器输出空间的维度如何影响最终生成模型的性能？
• RQ4 一个保持密度比率的固定判别器是否能在保持高样本质量的同时，优于MMD-GAN中的可学习判别器？
• RQ5 与现有方法相比，该方法在学习率和批量大小等超参数选择上是否具有鲁棒性？

主要发现

• GRAM网络在CIFAR-10和CelebA数据集上均取得了最先进的Fréchet Inception Distance（FID）分数，优于标准GAN和MMD-GAN。
• 在CIFAR-10上，GRAM-net的FID为6.89，显著优于MMD-GAN的7.82，且与最佳GAN方法相当。
• 在CelebA上，GRAM-net的FID为13.21，优于MMD-GAN的14.12，且与最先进的GAN方法性能相当。
• GRAM-nets对学习率和批量大小的敏感度显著低于MMD-GAN，性能接近原始GAN。
• 当判别器输出维度约为1000时，该方法表现最佳；更大的维度会降低性能，表明数据存在最优内在维度。
• 定性分析表明，生成样本具有多样性且未从训练集中记忆，如CIFAR-10上的最近邻分析所示。