[论文解读] A brief survey on deep belief networks and introducing a new object oriented MATLAB toolbox (DeeBNet).

Mohammad Ali Keyvanrad, Mohammad Mehdi Homayounpour|arXiv (Cornell University)|Aug 14, 2014

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 72

一句话总结

该论文介绍了DeeBNet，一个开源的、面向对象的MATLAB/Octave工具箱，用于实现深度置信网络（DBNs），支持多种RBM类型、采样方法（包括一种新型的FEPCD方法）、稀疏性技术以及GPU加速。在MNIST、ISOLET和20 Newsgroups数据集上的实验表明，该工具箱能够从无标签数据中学习到有效的表征，并实现与最先进模型相当的分类误差。

ABSTRACT

Nowadays, this is very popular to use the deep architectures in machine learning. Deep Belief Networks (DBNs) are deep architectures that use stack of Restricted Boltzmann Machines (RBM) to create a powerful generative model using training data. DBNs have many ability like feature extraction and classification that are used in many applications like image processing, speech processing and etc. This paper introduces a new object oriented MATLAB toolbox with most of abilities needed for the implementation of DBNs. In the new version, the toolbox can be used in Octave. According to the results of the experiments conducted on MNIST (image), ISOLET (speech), and 20 Newsgroups (text) datasets, it was shown that the toolbox can learn automatically a good representation of the input from unlabeled data with better discrimination between different classes. Also on all datasets, the obtained classification errors are comparable to those of state of the art classifiers. In addition, the toolbox supports different sampling methods (e.g. Gibbs, CD, PCD and our new FEPCD method), different sparsity methods (quadratic, rate distortion and our new normal method), different RBM types (generative and discriminative), using GPU, etc. The toolbox is a user-friendly open source software and is freely available on the website this http URL .

研究动机与目标

• 为应对研究与应用中对可访问、灵活且高效的深度置信网络（DBNs）实现工具日益增长的需求。
• 提供一个用户友好、开源的MATLAB/Octave工具箱，支持广泛的DBN配置与训练技术。
• 在实现对图像、语音和文本等多种数据类型分类性能具有竞争力的同时，实现从无标签数据中自动学习特征。
• 通过新型方法（如FEPCD采样和一种新的正态稀疏性方法）扩展DBN实现能力。
• 确保与MATLAB和Octave的兼容性，以提升学术与研究环境中的可及性。

提出的方法

• 该工具箱采用面向对象设计，以支持DBNs的模块化与可扩展开发。
• 以受限玻尔兹曼机（RBMs）的堆叠作为深度生成建模的核心构建单元。
• 支持多种训练算法，包括Gibbs采样、对比散度（CD）、持久对比散度（PCD）以及一种新型的FEPCD方法，以提升收敛性。
• 通过二次型、率失真和一种新提出的正态方法强制实现稀疏性，以改善特征学习。
• 支持生成式与判别式RBMs变体，并集成GPU加速以实现更快的训练速度。
• 设计上兼容MATLAB与Octave，从而增强研究社区的可及性。

实验结果

研究问题

• RQ1 一个用户友好、开源的工具箱是否能有效支持在多样化机器学习任务中实现深度置信网络？
• RQ2 所提出的FEPCD采样方法在学习效率与表征质量方面，与CD和PCD等成熟方法相比表现如何？
• RQ3 该工具箱在图像、语音和文本数据集中，能在多大程度上从未标注数据中学习到有意义的特征？
• RQ4 该工具箱在标准基准数据集上的分类性能是否与最先进模型具有可比性？
• RQ5 新型稀疏性方法（包括所提出的正态方法）在提升特征判别能力方面的有效性如何？

主要发现

• DeeBNet工具箱成功地从MNIST、ISOLET和20 Newsgroups数据集的无标签数据中学习到有效且分层的表征。
• 该工具箱在所有三个基准数据集上的分类误差与最先进分类器相当。
• 新型FEPCD采样方法提升了训练的稳定性和收敛性，从而促进了更好的特征学习。
• 多种稀疏性方法（包括新提出的正态方法）的引入，增强了特征判别能力与模型性能。
• 该工具箱在MATLAB与Octave环境中均表现出良好的兼容性与功能性。
• GPU支持显著加速了训练过程，使该工具箱适用于大规模深度学习实验。