[论文解读] A Deep Generative Deconvolutional Image Model

Yunchen Pu, Xin Yuan+3 more|arXiv (Cornell University)|Dec 23, 2015

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 12

一句话总结

该论文提出了一种基于分层卷积字典学习与随机反池化的深度生成去卷积图像模型，并采用贝叶斯SVM进行最大间隔监督。通过GPU加速的MCEM进行训练，在ImageNet上实现了SOTA分类性能（模型平均后top-5错误率为13.6%），展示了在大规模数据集上的强大可扩展性与生成能力。

ABSTRACT

A deep generative model is developed for representation and analysis of images, based on a hierarchical convolutional dictionary-learning framework. Stochastic {\em unpooling} is employed to link consecutive layers in the model, yielding top-down image generation. A Bayesian support vector machine is linked to the top-layer features, yielding max-margin discrimination. Deep deconvolutional inference is employed when testing, to infer the latent features, and the top-layer features are connected with the max-margin classifier for discrimination tasks. The model is efficiently trained using a Monte Carlo expectation-maximization (MCEM) algorithm, with implementation on graphical processor units (GPUs) for efficient large-scale learning, and fast testing. Excellent results are obtained on several benchmark datasets, including ImageNet, demonstrating that the proposed model achieves results that are highly competitive with similarly sized convolutional neural networks.

研究动机与目标

• 开发一种基于分层卷积字典学习的深度图像生成模型。
• 引入随机反池化作为自顶向下的生成机制，与CNN中标准的自底向上池化形成对比。
• 在联合训练过程中，将贝叶斯支持向量机与顶层特征结合，实现最大间隔判别。
• 通过GPU加速的MCEM优化，实现高效的大规模学习与快速推理。
• 在ImageNet、Caltech 101与Caltech 256等基准数据集上展示SOTA性能。

提出的方法

• 该模型采用深层架构，每层均包含卷积字典，其中每个字典元素通过与学习到的激活图进行空间卷积，以重建输入图像。
• 使用随机反池化连接各层，通过在推理过程中从池化后的特征图中随机采样，实现自顶向下的图像生成。
• 贝叶斯支持向量机与深层模型联合训练，利用顶层特征实现最大间隔分类。
• 采用蒙特卡洛期望最大化（MCEM）算法进行模型训练，通过字典元素与分类器参数的点估计确保可扩展性。
• 测试时使用去卷积推理来推断潜在特征，支持图像生成与分类。
• 通过Gibbs更新的后验抽样进行模型平均，收集20个样本以提升性能，采样在MAP估计后进行。

实验结果

研究问题

• RQ1 基于卷积字典学习的深度生成模型是否能在大规模图像数据集上实现具有竞争力的分类性能？
• RQ2 在自顶向下的生成框架中，随机反池化相较于标准的自底向上池化，在性能与生成质量方面表现如何？
• RQ3 将贝叶斯SVM与深度去卷积模型联合训练，是否能在保持生成能力的同时提升判别性能？
• RQ4 通过后验抽样进行模型平均，在此深度生成框架中能在多大程度上提升分类准确率？
• RQ5 在ImageNet上预训练的模型是否能有效泛化到较小的数据集（如Caltech 101与Caltech 256）？

主要发现

• 所提模型在ImageNet 2012验证集上使用最大后验估计（MAP）时，top-5错误率为16.1%。
• 通过20个后验样本的模型平均，top-5错误率进一步降低至13.6%，优于六组“ZF”-网络的组合结果。
• 在Caltech 256上，微调顶层贝叶斯SVM后，模型达到77.9%的SOTA准确率。
• 在Caltech 101上，模型准确率达到93.15%，与使用空间金字塔匹配和更深网络的SOTA结果（94.11%）具有竞争力。
• 该模型展现出强大的可扩展性与泛化能力，在小规模与大规模数据集上均表现优异，参数量约为3000万。
• GPU加速的MCEM训练实现了高效的大规模训练与快速推理，支持实际部署。