[论文解读] A Theory of Generative ConvNet

Jianwen Xie, Yang Lu+2 more|arXiv (Cornell University)|Feb 10, 2016

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 160

一句话总结

论文将生成式 ConvNet 从带高斯白噪声参考的判别ConvNet导出为能量模型，揭示一个分段高斯结构，其均值由分层自编码器定义，并通过对比散度与 Langevin 动力学训练。

ABSTRACT

We show that a generative random field model, which we call generative ConvNet, can be derived from the commonly used discriminative ConvNet, by assuming a ConvNet for multi-category classification and assuming one of the categories is a base category generated by a reference distribution. If we further assume that the non-linearity in the ConvNet is Rectified Linear Unit (ReLU) and the reference distribution is Gaussian white noise, then we obtain a generative ConvNet model that is unique among energy-based models: The model is piecewise Gaussian, and the means of the Gaussian pieces are defined by an auto-encoder, where the filters in the bottom-up encoding become the basis functions in the top-down decoding, and the binary activation variables detected by the filters in the bottom-up convolution process become the coefficients of the basis functions in the top-down deconvolution process. The Langevin dynamics for sampling the generative ConvNet is driven by the reconstruction error of this auto-encoder. The contrastive divergence learning of the generative ConvNet reconstructs the training images by the auto-encoder. The maximum likelihood learning algorithm can synthesize realistic natural image patterns.

研究动机与目标

• 将判别型 ConvNet 转换为生成式模型和无监督学习者的动机。
• 通过使用 ConvNet 评分函数的指数倾斜，将生成式 ConvNet 作为能量基模型推导。
• 揭示内部自编码器结构，其中自下向上的滤波器成为自上向下的基底函数。
• 展示通过重构误差驱动的 Langevin 动力学进行采样，以及通过对比散度学习。
• 证明最大似然学习能够合成真实的自然图像模式。

提出的方法

• 将判别 ConvNet 和生成 ConvNet 定义为带高斯白噪声参考的能量基模型。
• 证明在 ReLU 非线性下，该模型成为具有自编码均值的分段高斯模型。
• 表达评分函数并推导一个自上向下的去卷积，以获得每个激活模式 δ 的重建 B_{w,δ}。
• 使用由重构误差驱动的 Langevin 动力学从生成模型中进行采样。
• 采用最大似然学习，利用 Langevin 采样的蒙特卡罗估计，并在必要时从观测图像开始进行对比散度。
• 提供一个分层的卷积实现，其中自下向上的滤波器在自上向下表示中充当基函数。

实验结果

研究问题

• RQ1 是否可以将判别 ConvNet 表现为具有高斯参考分布的生成能量基模型？
• RQ2 从判别 ConvNet 推导出生成 ConvNet 时会出现哪些内部表征结构？
• RQ3 Langevin 基于采样和对比散度在该框架中如何与自编码重构相关？
• RQ4 ReLU 及其分段线性在生成式模型中产生分段高斯的作用是什么？
• RQ5 该模型是否能够从无标签数据中合成现实的自然图像模式？

主要发现

• 生成式 ConvNet 是分段高斯的，其均值由一个自编码器定义，其中自下向上的滤波器成为自上向下的基底函数。
• Langevin 采样由自编码重构误差驱动，将合成与重构联系起来。
• 对比散度学习通过自编码器对训练图像进行重构，使梯度与重构误差一致。
• 内部结构在高斯参考分布下将判别与生成建模统一在一个 ConvNet 中。
• 该模型通过对图像的最大似然学习能够合成现实的自然图像模式。
• 经验结果显示可生成纹理和对象图案，并具备重构能力。