[论文解读] Cooperative Training of Descriptor and Generator Networks

Jianwen Xie, Yang Lu+3 more|arXiv (Cornell University)|Sep 29, 2016

Generative Adversarial Networks and Image Synthesis被引用 30

一句话总结

该论文提出了一种基于自下而上和自上而下卷积神经网络的深度能量基描述符网络与生成模型的协作训练框架。通过交织马尔可夫链蒙特卡洛（MCMC）采样与对比发散方法，描述符网络通过MCMC转移过程指导生成器，使生成器能够在不发生模式崩溃的情况下学习真实图像生成，动态纹理合成任务中达到PSNR 19.407和SSIM 0.5988的最先进性能。

ABSTRACT

This paper studies the cooperative training of two generative models for image modeling and synthesis. Both models are parametrized by convolutional neural networks (ConvNets). The first model is a deep energy-based model, whose energy function is defined by a bottom-up ConvNet, which maps the observed image to the energy. We call it the descriptor network. The second model is a generator network, which is a non-linear version of factor analysis. It is defined by a top-down ConvNet, which maps the latent factors to the observed image. The maximum likelihood learning algorithms of both models involve MCMC sampling such as Langevin dynamics. We observe that the two learning algorithms can be seamlessly interwoven into a cooperative learning algorithm that can train both models simultaneously. Specifically, within each iteration of the cooperative learning algorithm, the generator model generates initial synthesized examples to initialize a finite-step MCMC that samples and trains the energy-based descriptor model. After that, the generator model learns from how the MCMC changes its synthesized examples. That is, the descriptor model teaches the generator model by MCMC, so that the generator model accumulates the MCMC transitions and reproduces them by direct ancestral sampling. We call this scheme MCMC teaching. We show that the cooperative algorithm can learn highly realistic generative models.

研究动机与目标

• 开发一种协作学习算法，联合训练能量基描述符网络与潜在变量生成器网络，用于图像建模。
• 解决在单独训练时，深度生成模型在高度可变图像数据上训练所面临的挑战。
• 提供一种替代生成对抗网络（GANs）的方法，通过MCMC实现相互知识蒸馏，避免模式崩溃。
• 通过交织MCMC采样与梯度更新，实现稳定、基于似然的训练。
• 将该框架推广至条件生成任务，如基于类别标签、文本或草图的图像生成。

提出的方法

• 描述符网络是一个自下而上的卷积神经网络（ConvNet），用于计算图像能量，构成能量基模型。
• 生成器网络是一个自上而下的卷积神经网络（ConvNet），通过祖先采样将潜在因子映射为图像。
• 协作训练交替进行：(1) 从生成器合成的样本初始化描述符的MCMC；(2) 基于MCMC转移更新生成器。
• MCMC教学使生成器能够学习并再现MCMC转移过程，从而有效蒸馏描述符的采样动态。
• 采用改进的对比发散方法训练描述符，其中MCMC初始化于生成器输出，而非真实数据。
• 该框架交织了两个模型的最大似然学习，使MCMC采样与梯度更新能够相互促进。

实验结果

研究问题

• RQ1 与独立训练相比，描述符网络与生成器网络之间的协作训练是否能提升图像生成质量？
• RQ2 如何利用MCMC采样来指导生成器网络再现复杂的图像结构？
• RQ3 该协作学习方案是否能避免生成对抗网络（GANs）中常见的模式崩溃问题？
• RQ4 描述符网络的MCMC动态是否能有效蒸馏至生成器，从而提升生成样本质量？
• RQ5 该协作框架是否能推广至条件生成任务，如文本到图像或草图到图像的图像合成？

主要发现

• 协作训练算法成功学习到高度逼真的图像生成模型，包括动态纹理。
• 在动态纹理合成任务中，模型达到PSNR 19.407和SSIM 0.5988，优于LDS（19.148, 0.5939）、HOSVD（18.392, 0.4573）及其他基线方法。
• 由于采用稳定基于似然的训练过程，该方法避免了生成对抗网络（GANs）中常见的模式崩溃问题。
• 生成器网络通过直接祖先采样学习再现MCMC转移过程，有效蒸馏了描述符的采样行为。
• 描述符网络从有限的真实数据中学习，而生成器则从近乎无限的合成数据中学习，从而实现稳健的泛化能力。
• 该框架可推广至条件生成任务，支持基于类别标签、文本描述或草图的图像生成。