[论文解读] Max-Margin Deep Generative Models

Chongxuan Li|arXiv (Cornell University)|Apr 26, 2015

Generative Adversarial Networks and Image Synthesis参考文献 38被引用 23

一句话总结

本文提出最大边缘深度生成模型（mmDGMs），将最大边缘学习整合到深度生成模型中，以在保持生成能力的同时提升判别性能。通过将最大边缘后验约束引入变分推断问题，并采用基于CNN的识别与生成网络的双重随机次梯度算法，mmDGMs在MNIST和SVHN数据集上实现了最先进的分类准确率，优于标准DGMs，并与完全判别性网络相当。

ABSTRACT

Deep generative models (DGMs) are effective on learning multilayered representations of complex data and performing inference of input data by exploring the generative ability. However, little work has been done on examining or empowering the discriminative ability of DGMs on making accurate predictions. This paper presents max-margin deep generative models (mmDGMs), which explore the strongly discriminative principle of max-margin learning to improve the discriminative power of DGMs, while retaining the generative capability. We develop an efficient doubly stochastic subgradient algorithm for the piecewise linear objective. Empirical results on MNIST and SVHN datasets demonstrate that (1) max-margin learning can significantly improve the prediction performance of DGMs and meanwhile retain the generative ability; and (2) mmDGMs are competitive to the state-of-the-art fully discriminative networks by employing deep convolutional neural networks (CNNs) as both recognition and generative models.

研究动机与目标

• 解决尽管具有强大生成能力，深度生成模型（DGMs）在分类任务中判别能力有限的问题。
• 将最大边缘原则整合到DGMs中，以在不牺牲生成能力的前提下提升预测性能。
• 开发一种高效的优化方法，用于联合训练深度模型中的判别与生成组件。
• 使用MNIST和SVHN数据集，在图像分类、生成和缺失数据填补任务上评估该模型。

提出的方法

• 将mmDGM表述为一种受最大边缘后验约束正则化的变分推断问题，该约束使潜在表征偏向于更优的预测。
• 将最大边缘约束定义为潜在变量后验分布的线性泛函。
• 开发一种双重随机次梯度下降算法，将Pagesos算法推广至处理非平凡潜在结构。
• 使用深度卷积神经网络（CNNs）作为识别与生成模型，以捕捉层次化特征并提升生成质量。
• 采用带识别模型的随机变分推断，以高效近似后验分布。
• 在识别模型中应用合页损失正则化，以同时提升分类与生成性能，尤其在缺失数据条件下表现更优。

实验结果

研究问题

• RQ1 最大边缘学习是否能显著提升深度生成模型的判别性能，同时不损害其生成能力？
• RQ2 判别与生成组件的联合训练如何影响表征质量与预测准确率？
• RQ3 mmDGMs中的基于CNN的识别与生成模型能否在分类性能上与完全判别性网络相媲美？
• RQ4 mmDGMs在重建图像中缺失值方面效果如何，尤其是在结构化或随机损坏条件下？
• RQ5 识别模型中的合页损失正则化是否能增强模型生成有意义、与类别相关的图像模式的能力？

主要发现

• mmDGMs在MNIST和SVHN上实现了最先进的分类错误率，SVHN上错误率为1.92%，与完全判别性网络相当。
• 与标准DGMs相比，该模型在全标签设置下于SVHN上实现了20%的相对错误率降低。
• mmDGMs保持了强大的生成能力，即使在高斯噪声或缺失数据条件下也能生成有意义的图像样本。
• 在缺失数据填补任务中，mmDGMs优于基线模型，尤其在大块矩形区域缺失时表现更优，MNIST中12×12缺失块的MSE降低10.9%。
• 可视化结果表明，合页损失正则化有助于生成更具类别相关性的结构，而标准DGMs在复杂条件下无法学习到数字模式。
• 基于CNN的mmDGMs展现出更强的高层模式学习能力，而基于MLP的版本则更关注像素级重建。