[论文解读] Learning Implicit Generative Models with the Method of Learned Moments

Suman Ravuri, Shakir Mohamed+2 more|arXiv (Cornell University)|Jun 28, 2018

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 7

一句话总结

本文提出学习矩方法（MoLM），一种通过矩网络学习统计上高效的矩来训练大规模隐式生成模型的新方法，该矩网络利用隐藏单元激活值和梯度特征。MoLM在CIFAR-10上实现了最先进（SOTA）的Inception Score与Fréchet Inception Distance，在CelebA上实现了近乎完美的多尺度结构相似性（MS-SSIM），优于对抗性GAN和基于MMD的方法。

ABSTRACT

We propose a method of moments (MoM) algorithm for training large-scale implicit generative models. Moment estimation in this setting encounters two problems: it is often difficult to define the millions of moments needed to learn the model parameters, and it is hard to determine which properties are useful when specifying moments. To address the first issue, we introduce a moment network, and define the moments as the network's hidden units and the gradient of the network's output with the respect to its parameters. To tackle the second problem, we use asymptotic theory to highlight desiderata for moments -- namely they should minimize the asymptotic variance of estimated model parameters -- and introduce an objective to learn better moments. The sequence of objectives created by this Method of Learned Moments (MoLM) can train high-quality neural image samplers. On CIFAR-10, we demonstrate that MoLM-trained generators achieve significantly higher Inception Scores and lower Frechet Inception Distances than those trained with gradient penalty-regularized and spectrally-normalized adversarial objectives. These generators also achieve nearly perfect Multi-Scale Structural Similarity Scores on CelebA, and can create high-quality samples of 128x128 images.

研究动机与目标

• 为解决在需要数百万个矩时，传统矩估计在大规模隐式生成模型训练中不可行的问题。
• 通过渐近方差最小化学习统计上高效的矩，以克服选择高效矩的困难。
• 开发一种可扩展且稳定的训练算法，避免对抗训练的陷阱，同时在样本质量上达到或超过其水平。
• 证明基于学习矩的训练方法可生成与GAN相当或更优的高保真图像样本。

提出的方法

• 引入一个矩网络，其隐藏单元和输出梯度作为生成器训练的矩。
• 利用渐近理论定义矩的理想特性：最小化参数估计量的渐近方差。
• 提出一个目标函数，以学习统计上高效的矩，从而提高估计量的精度。
• 通过将生成数据的矩与真实数据的矩匹配来训练生成器，使用矩网络作为特征提取器。
• 采用两阶段优化：首先学习矩网络以最小化方差，然后使用这些学习到的矩训练生成器。
• 将该方法应用于图像生成，采用DCGAN和Miyato等人（2018）提出的自定义卷积网络架构。

实验结果

研究问题

• RQ1 该矩方法能否扩展到训练具有数千万参数的隐式生成模型？
• RQ2 如何学习矩，使其最小化估计模型参数的渐近方差？
• RQ3 基于矩的训练方法能否在图像生成中实现与对抗训练相当或更优的样本质量？
• RQ4 在矩网络中结合隐藏单元激活值和梯度特征对生成性能有何影响？

主要发现

• 在CIFAR-10上，使用卷积架构的MoLM训练生成器实现了7.90 ± 0.10的Inception Score和23.3/18.9的Fréchet Inception Distance，优于梯度惩罚和谱归一化GAN。
• MoLM在CelebA上实现了0.378的多尺度结构相似性（MS-SSIM）得分，尽管该指标存在局限性，但仍与或超过GAN基线模型。
• 该方法可扩展至128×128图像生成，从ImageNet蒲公英子集生成高质量图像，证明了其在高分辨率生成中的可行性。
• 在矩网络中同时使用隐藏单元激活值和梯度特征，相比单独使用任一特征，显著提升了IS和FID得分。
• 该算法在整个训练过程中保持稳定，Inception Score和Fréchet Inception Distance均未出现崩溃。
• 随着矩网络规模增大，性能对网络大小具有鲁棒性，IS和FID得分随网络从768个单元增至1536个单元而持续提升。