[论文解读] Deep Restricted Boltzmann Networks

Hengyuan Hu, Lisheng Gao+1 more|arXiv (Cornell University)|Nov 15, 2016

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 11

一句话总结

该论文提出深度受限玻尔兹曼网络（DRBNs），一种新颖的深度生成模型，通过将多个RBMs组合成一个联合的、端到端可训练的架构，无需逐层预训练。通过实现所有层的联合训练并整合卷积RBMs，DRBNs在MNIST和Weizmann马匹数据集上实现了更优的图像生成质量和特征表示，优于标准RBMs，并与需要预训练的模型结果相当或更优。

ABSTRACT

Building a good generative model for image has long been an important topic in computer vision and machine learning. Restricted Boltzmann machine (RBM) is one of such models that is simple but powerful. However, its restricted form also has placed heavy constraints on the models representation power and scalability. Many extensions have been invented based on RBM in order to produce deeper architectures with greater power. The most famous ones among them are deep belief network, which stacks multiple layer-wise pretrained RBMs to form a hybrid model, and deep Boltzmann machine, which allows connections between hidden units to form a multi-layer structure. In this paper, we present a new method to compose RBMs to form a multi-layer network style architecture and a training method that trains all layers jointly. We call the resulted structure deep restricted Boltzmann network. We further explore the combination of convolutional RBM with the normal fully connected RBM, which is made trivial under our composition framework. Experiments show that our model can generate descent images and outperform the normal RBM significantly in terms of image quality and feature quality, without losing much efficiency for training.

研究动机与目标

• 开发一种深度无向生成模型，以克服单层RBMs的表征能力限制。
• 实现所有RBMs层从零开始的联合训练，避免深度置信网络（DBNs）中使用的贪心逐层预训练。
• 将卷积RBMs整合到深度架构中，以提升图像数据的可扩展性和特征学习能力。
• 在无监督图像生成和下游分类任务中评估模型性能。
• 证明DRBNs即使在标注数据有限的情况下也能提取高质量特征，从而减少对微调的依赖。

提出的方法

• 提出一种由多层RBMs堆叠而成的深度无向架构，其中每层均为无层内连接的标准RBMs。
• 提出一种联合学习算法，通过可见数据对数似然的梯度上升，同时优化所有RBMs参数。
• 采用自由能和高效的块Gibbs采样进行近似推理与训练，利用RBMs中的条件独立性。
• 将框架扩展至在第一层引入卷积RBMs，以捕捉局部空间模式，提升可扩展性和特征质量。
• 采用混合架构，结合全连接与卷积RBMs，其中卷积层捕捉局部特征，深层则建模全局结构。
• 通过Gibbs采样应用于图像生成，并在特征提取后评估分类任务性能。

实验结果

研究问题

• RQ1 由堆叠RBMs构成的深度无向模型是否能在图像生成与特征学习方面优于单层RBMs？
• RQ2 从零开始的联合训练所有RBMs层是否在模型质量与效率方面优于贪心逐层预训练？
• RQ3 将卷积RBMs整合到深度RBMs架构中是否能提升图像数据的可扩展性与特征表征能力？
• RQ4 DRBNs在标注数据有限的数据集上泛化能力如何？能否在监督任务中减少对微调的依赖？
• RQ5 所提出的架构是否能在无需预训练的情况下生成多样且逼真的图像样本，而无需像DBM或ShapeBM那样依赖预训练？

主要发现

• 在仅使用6,000个标注样本的情况下，3层DRBN在MNIST上的测试错误率为3.29%，显著优于标准RBMs。
• 卷积DRBN在MNIST上使用6,000个标注样本时达到2.92%的测试错误率，表明其性能优于全连接变体。
• DRBNs在Weizmann马匹数据集上生成了多样且逼真的马匹图像，卷积变体在姿态和腿部细节方面表现出更好的多样性。
• 全连接DRBN生成的图像更清晰、更平滑，但存在更多模式崩溃；而卷积DRBN引入了更多噪声，但结构多样性更优。
• 与ShapeBM和DBM不同，DRBN无需逐层预训练即可生成有意义的样本，支持直接端到端训练。
• 当使用DRBNs提取的特征进行分类时，进一步微调带来的性能提升微乎其微，表明DRBNs即使在标注数据稀缺的情况下也能提取接近最优的特征。