[论文解读] Generative Deep Deconvolutional Learning

Yunchen Pu, Xin Yuan+1 more|arXiv (Cornell University)|Dec 18, 2014

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 4

一句话总结

该论文提出了一种使用随机池化的深度生成卷积字典学习模型，以实现高效的自顶向下生成建模和单层反卷积推理。通过使用线性操作将顶层字典元素直接投影到数据平面，该方法在MNIST和Caltech 101数据集上实现了最先进（SOTA）的分类性能，且测试时计算量极低，即使在使用深层架构的情况下亦如此。

ABSTRACT

A generative Bayesian model is developed for deep (multi-layer) convolutional dictionary learning. A novel probabilistic pooling operation is integrated into the deep model, yielding efficient bottom-up and top-down probabilistic learning. After learning the deep convolutional dictionary, testing is implemented via deconvolutional inference. To speed up this inference, a new statistical approach is proposed to project the top-layer dictionary elements to the data level. Following this, only one layer of deconvolution is required during testing. Experimental results demonstrate powerful capabilities of the model to learn multi-layer features from images. Excellent classification results are obtained on both the MNIST and Caltech 101 datasets.

研究动机与目标

• 开发一种用于多层卷积字典学习的深度生成模型，支持高效的自底向上与自顶向下概率学习。
• 集成一种新颖的概率池化操作，实现跨所有层的联合推理，并支持合理的自顶向下生成过程。
• 通过将顶层字典元素投影到数据平面，减少测试时的计算成本，从而避免使用多层反卷积，而改用单层反卷积。
• 在保持训练时深层架构的同时，实现图像数据集上的高分类准确率，且推理阶段模型复杂度极低。

提出的方法

• 构建一个分层深度架构的生成模型，其中每一层的特征通过多项分布映射到下一层，强制实现稀疏性与随机池化。
• 实现随机池化，使得每个池化块中仅一个特征被激活，其余全部置零，从而为自顶向下推理提供合适的生成模型。
• 通过逐层使用Gibbs采样进行自底向上预训练以学习参数，随后进行联合自顶向下优化以提升特征表示。
• 提出一种新型统计投影方法，通过线性操作将顶层字典元素直接映射到数据平面，从而在测试阶段无需使用多层反卷积。
• 在推理阶段，仅应用单层反卷积，利用投影后的顶层特征，显著降低测试时的计算量。
• 模型使用Gibbs采样进行参数的最大后验概率（MAP）估计，实现在贝叶斯框架下的高效学习。

实验结果

研究问题

• RQ1 在分层卷积字典框架中，具有随机池化的深度生成模型是否能够实现所有层之间的高效联合学习？
• RQ2 如何在不增加测试时计算成本的前提下，使深度卷积网络中的自顶向下生成建模既高效又可扩展？
• RQ3 通过将顶层字典投影到数据平面所支持的单层反卷积推理步骤，在性能上能否匹配或超越多层反卷积在深度生成模型中的表现？
• RQ4 与确定性池化相比，概率池化的集成是否能提升特征表示质量与分类准确率？

主要发现

• 在每类仅30张训练图像的条件下，该模型在Caltech 101上实现了82.78%的分类准确率，接近使用ImageNet预训练的7层卷积网络的性能。
• 当每类仅有15张训练图像时，使用3层架构的模型在Caltech 101上达到75.24%的准确率，展现出在小样本数据下的强大泛化能力。
• 与预训练阶段相比，经过优化后分类性能提升了约17%，表明参数联合优化的有效性。
• 通过将顶层字典投影到数据平面，实现测试时仅使用单层反卷积，显著降低了计算成本，且该优势与训练时网络深度无关。
• 高层学习到的字典具有类别特异性，而低层字典则更具通用性，体现了分层特征抽象的特性。
• 在人脸数据上的插值结果表明，随着网络深度增加，缺失区域被逐步恢复，第二层字典可生成高度细节化的重建结果。