[论文解读] A brief survey on deep belief networks and introducing a new object oriented toolbox (DeeBNet)

Mohammad Ali Keyvanrad, Mohammad Mehdi Homayounpour|arXiv (Cornell University)|Aug 14, 2014

Generative Adversarial Networks and Image Synthesis被引用 24

一句话总结

本论文提出DeeBNet，一个开源的、面向对象的MATLAB/Octave工具箱，用于使用堆叠受限玻尔兹曼机（RBMs）实现深度置信网络（DBNs）。该工具箱支持无监督预训练以进行特征学习，在MNIST、ISOLET和20 Newsgroups数据集上实现了与最先进模型相当的分类性能，并支持多种采样方法和稀疏性方法，包括一种新型的FEPCD算法。

ABSTRACT

Nowadays, this is very popular to use the deep architectures in machine learning. Deep Belief Networks (DBNs) are deep architectures that use stack of Restricted Boltzmann Machines (RBM) to create a powerful generative model using training data. DBNs have many ability like feature extraction and classification that are used in many applications like image processing, speech processing and etc. This paper introduces a new object oriented MATLAB toolbox with most of abilities needed for the implementation of DBNs. In the new version, the toolbox can be used in Octave. According to the results of the experiments conducted on MNIST (image), ISOLET (speech), and 20 Newsgroups (text) datasets, it was shown that the toolbox can learn automatically a good representation of the input from unlabeled data with better discrimination between different classes. Also on all datasets, the obtained classification errors are comparable to those of state of the art classifiers. In addition, the toolbox supports different sampling methods (e.g. Gibbs, CD, PCD and our new FEPCD method), different sparsity methods (quadratic, rate distortion and our new normal method), different RBM types (generative and discriminative), using GPU, etc. The toolbox is a user-friendly open source software and is freely available on the website http://ceit.aut.ac.ir/~keyvanrad/DeeBNet%20Toolbox.html .

研究动机与目标

• 为在MATLAB和Octave中实现深度置信网络（DBNs）提供一个全面、用户友好且可扩展的工具箱。
• 支持广泛的训练技术，包括多种采样方法（Gibbs、CD、PCD、FEPCD）和稀疏性约束（二次型、率失真、常规型）。
• 在图像、语音和文本等不同类型的数据上实现有效的特征学习与分类。
• 通过在无标签数据上进行无监督预训练，实现与最先进模型相当的分类准确率。

提出的方法

• 该工具箱采用面向对象设计，将RBMs和DBNs组件模块化，以支持可扩展性和代码复用。
• 实现了多种训练算法，包括对比散度（CD）、持久CD（PCD）、Gibbs采样，以及一种新型的FEPCD方法，以提升收敛性能。
• 采用三种方法实现稀疏性：二次型、率失真型，以及一种新提出的常规稀疏性方法。
• 支持生成式和判别式RBMs变体，提升模型架构的灵活性。
• 集成了GPU加速功能，以加快大规模数据集的训练速度。
• DBN被构建为RBMs的堆叠结构，每一层均通过贪婪逐层无监督学习进行预训练。

实验结果

研究问题

• RQ1 一个开源的、面向对象的工具箱能否有效支持多种训练与正则化技术的深度置信网络实现？
• RQ2 所提出的FEPCD采样方法在收敛性和性能方面与CD和PCD等标准方法相比表现如何？
• RQ3 DeeBNet在不同模态的数据（图像、语音、文本）上，从无标签数据中学习有意义表征的能力如何？
• RQ4 通过DeeBNet实现的DBN分类性能是否与最先进分类器在基准数据集上的表现相当或更优？

主要发现

• 在MNIST数据集上，DeeBNet实现了与最先进方法相当的分类错误率，证明了其从无标签数据中有效学习特征的能力。
• 在ISOLET语音数据集上，该工具箱通过无监督预训练成功提取了判别性特征，取得了优异的分类性能。
• 在20 Newsgroups文本数据集上，该工具箱从原始文本中学习到了有意义的表征，实现了具有竞争力的分类准确率。
• 实验表明，所提出的FEPCD采样方法在收敛性和稳定性方面优于标准的CD和PCD方法。
• 该工具箱在MATLAB和GNU Octave上均成功运行，证实了其跨平台兼容性。
• GPU支持的集成显著加速了训练过程，尤其在深层网络和大规模数据集上效果显著。