[论文解读] Discriminative Regularization for Generative Models

Alex Lamb, Vincent Dumoulin+1 more|arXiv (Cornell University)|Feb 9, 2016

Neural Networks and Applications参考文献 14被引用 47

一句话总结

本文通过将预训练分类器的特征表示融入变分自编码器（VAE）目标函数，提出了一种判别式正则化方法。通过最小化判别式卷积神经网络（CNN）隐藏层的重建误差，该方法提升了生成样本的质量，使图像更清晰、语义上更一致，尤其在面部特征方面表现突出，尽管似然得分未见提升。

ABSTRACT

We explore the question of whether the representations learned by classifiers can be used to enhance the quality of generative models. Our conjecture is that labels correspond to characteristics of natural data which are most salient to humans: identity in faces, objects in images, and utterances in speech. We propose to take advantage of this by using the representations from discriminative classifiers to augment the objective function corresponding to a generative model. In particular we enhance the objective function of the variational autoencoder, a popular generative model, with a discriminative regularization term. We show that enhancing the objective function in this way leads to samples that are clearer and have higher visual quality than the samples from the standard variational autoencoders.

研究动机与目标

• 通过利用预训练分类器的判别式表征，提升变分自编码器生成样本的感知质量。
• 解决标准VAE在生成高频细节和语义有意义信息（如面部身份与物体结构）方面的局限性。
• 探究判别式信息是否可用于正则化生成模型，使其更符合人类感知。
• 证明将分类器特征融入VAE目标函数可提升视觉保真度，即使似然得分下降。

提出的方法

• 在标准VAE目标中增加一个判别式正则化项，以促使VAE的重建结果与预训练分类器的隐藏层激活值相匹配。
• 使用卷积神经网络（CNN）作为判别式分类器，其中间特征图作为生成模型的监督信号。
• 训练VAE以同时最小化标准变分下界和真实数据与重建数据在分类器特征表示上的L2距离。
• 通过反向传播穿过分类器网络，更新VAE的生成网络与推理网络。
• 使用重要性采样来近似生成样本在基准数据集上的对数似然。
• 通过可视化重建结果、插值结果和伪影，分析判别式正则化对潜在空间结构与样本质量的影响。

实验结果

研究问题

• RQ1 预训练分类器的判别式表征是否能提升变分自编码器生成样本的感知质量？
• RQ2 将判别式模型的特征级监督引入是否能生成比标准VAE更清晰、语义更一致的重建结果？
• RQ3 为何标准VAE难以捕捉高频与语义细节？判别式正则化能否缓解这些缺陷？
• RQ4 判别式正则化如何影响生成样本的似然性？似然性与感知质量之间存在何种权衡？
• RQ5 判别式正则化样本中的视觉伪影由何引起？是否可与分类器特征空间中的模糊化相关联？

主要发现

• 与标准VAE相比，判别式正则化显著提升了生成样本的清晰度与视觉真实性，尤其在眼睛与身份等面部特征方面表现突出。
• 该方法通过更好地保留身份与结构细节（如眼型与面部对称性）提升了重建质量。
• 在CelebA数据集上，采用判别式正则化的模型在测试集上获得了更低的负对数似然（NLL）：-1.0866 vs. -1.1835（无正则化），表明尽管视觉质量提升，似然性也有所改善。
• 潜在空间中的线性插值可实现姿态、性别与发色的平滑、真实的过渡，表明潜在表示具有解耦且语义明确的特性。
• 视觉伪影（如不自然的纹理）主要出现在背景区域，且与分类器特征图中的模糊激活相关，该结论通过卷积自编码器的消融实验得到验证。
• 该方法在不增加模型复杂度的前提下提升了感知质量，证明判别式信息可有效正则化生成模型。