[论文解读] A Bayesian Perspective of Convolutional Neural Networks through a Deconvolutional Generative Model

Tan M. Nguyen, Nhat Ho+4 more|arXiv (Cornell University)|Nov 1, 2018

Generative Adversarial Networks and Image Synthesis参考文献 62被引用 7

一句话总结

本文提出了去卷积生成模型（Deconvolutional Generative Model, DGM），一种贝叶斯生成框架，通过在结构化潜在变量下将图像生成建模为从粗到细的过程，实现对卷积神经网络（CNN）的逆向工程。该方法从DGM中的联合最大后验估计（MAP）推导出CNN推理过程，提出了一种新型正则化方法——渲染路径归一化（Rendering Path Normalization, RPN），并引入了最大-最小交叉熵损失，使模型在SVHN、CIFAR10和CIFAR100数据集上，在半监督与监督学习设置下均达到最先进性能。

ABSTRACT

Inspired by the success of Convolutional Neural Networks (CNNs) for supervised prediction in images, we design the Deconvolutional Generative Model (DGM), a new probabilistic generative model whose inference calculations correspond to those in a given CNN architecture. The DGM uses a CNN to design the prior distribution in the probabilistic model. Furthermore, the DGM generates images from coarse to finer scales. It introduces a small set of latent variables at each scale, and enforces dependencies among all the latent variables via a conjugate prior distribution. This conjugate prior yields a new regularizer based on paths rendered in the generative model for training CNNs-the Rendering Path Normalization (RPN). We demonstrate that this regularizer improves generalization, both in theory and in practice. In addition, likelihood estimation in the DGM yields training losses for CNNs, and inspired by this, we design a new loss termed as the Max-Min cross entropy which outperforms the traditional cross-entropy loss for object classification. The Max-Min cross entropy suggests a new deep network architecture, namely the Max-Min network, which can learn from less labeled data while maintaining good prediction performance. Our experiments demonstrate that the DGM with the RPN and the Max-Min architecture exceeds or matches the-state-of-art on benchmarks including SVHN, CIFAR10, and CIFAR100 for semi-supervised and supervised learning tasks.

研究动机与目标

• 开发一种概率生成模型，其推理过程与给定的CNN架构完全对应。
• 通过将CNN结构嵌入先验分布，解决复杂图像数据生成模型中有效先验不足的问题。
• 通过从生成模型路径结构中推导出的新正则化方法，提升CNN的泛化能力。
• 从生成模型的似然估计中推导出一种新训练损失——最大-最小交叉熵损失，以在标签数据较少时提升性能。
• 通过证明CNN可自然地从DGM推理中涌现，实现生成建模与判别学习的统一。

提出的方法

• 去卷积生成模型（DGM）采用分层的、从粗到细的生成过程，每层均设有潜在变量，并通过共轭先验强制变量间的依赖关系。
• DGM通过引入辅助潜在变量，反转如ReLU和池化等不可逆层的操作，实现对CNN层的逆向处理，从而支持图像重建。
• 该模型的先验结构诱导出一种新型正则化方法——渲染路径归一化（RPN），其基于生成图中的路径结构，可提升泛化性能。
• DGM中的似然估计导出一种训练损失，启发了最大-最小交叉熵损失的提出，该损失优于标准交叉熵损失。
• 最大-最小交叉熵损失被用于训练一种新型的Max-Min网络架构，该架构在低标签数据条件下仍具有优异泛化能力。
• 该方法在DGM框架内整合变分推理与矩匹配损失，进一步提升训练稳定性和性能。

实验结果

研究问题

• RQ1 能否设计一种概率生成模型，使其推理过程与给定的CNN架构完全一致？
• RQ2 生成模型中的结构化先验如何提升深度学习中的泛化性能？
• RQ3 能否从分层生成模型的路径结构中推导出一种用于CNN训练的新正则化方法？
• RQ4 能否从生成模型的似然估计中启发出一种更有效的新型损失函数，用于监督学习？
• RQ5 能否从所提出的损失函数中推导出一种新型网络架构——Max-Min网络，以在标签数据有限时提升性能？

主要发现

• 去卷积生成模型（DGM）成功实现了对CNN的逆向工程，使得DGM中的自底向上推理过程与CNN的前向传播完全对应。
• 由生成模型路径结构推导出的渲染路径归一化（RPN）可提升泛化性能，并将理论保证推广至深层网络。
• 最大-最小交叉熵损失优于标准交叉熵损失，尤其在低数据量设置下表现更优，使Max-Min网络在CIFAR10、CIFAR100和SVHN上均达到最先进性能。
• 在半监督学习基准测试中，结合RPN与最大-最小交叉熵损失的DGM在SVHN、CIFAR10和CIFAR100上均超过或匹配最先进性能。
• 即使在MNIST数据集中仅使用50,000张标注图像，该模型仍表现出色，证明其在低数据设置下的强鲁棒性。
• 在DGM框架内整合变分推理与矩匹配损失，进一步增强了训练稳定性和性能。