[論文レビュー] A brief survey on deep belief networks and introducing a new object oriented toolbox (DeeBNet)

Mohammad Ali Keyvanrad, Mohammad Mehdi Homayounpour|arXiv (Cornell University)|Aug 14, 2014

Generative Adversarial Networks and Image Synthesis被引用数 24

ひとこと要約

本論文では、スタックド制限ボルツマンマシン（RBMs）を用いて深層信念ネットワーク（DBNs）を実装するためのオープンソースでオブジェクト指向のMATLAB/Octaveツールボックス、DeeBNetを提示する。これは特徴量学習のための教師なし事前学習を可能にし、MNIST、ISOLET、20 Newsgroupsデータセットにおいて最先端のモデルと同等の分類性能を達成する。GPU対応、ギブスサンプリング、および新規のFEPCDアルゴリズムを含む、複数のサンプリングおよびスパarsity手法をサポートする。

ABSTRACT

Nowadays, this is very popular to use the deep architectures in machine learning. Deep Belief Networks (DBNs) are deep architectures that use stack of Restricted Boltzmann Machines (RBM) to create a powerful generative model using training data. DBNs have many ability like feature extraction and classification that are used in many applications like image processing, speech processing and etc. This paper introduces a new object oriented MATLAB toolbox with most of abilities needed for the implementation of DBNs. In the new version, the toolbox can be used in Octave. According to the results of the experiments conducted on MNIST (image), ISOLET (speech), and 20 Newsgroups (text) datasets, it was shown that the toolbox can learn automatically a good representation of the input from unlabeled data with better discrimination between different classes. Also on all datasets, the obtained classification errors are comparable to those of state of the art classifiers. In addition, the toolbox supports different sampling methods (e.g. Gibbs, CD, PCD and our new FEPCD method), different sparsity methods (quadratic, rate distortion and our new normal method), different RBM types (generative and discriminative), using GPU, etc. The toolbox is a user-friendly open source software and is freely available on the website http://ceit.aut.ac.ir/~keyvanrad/DeeBNet%20Toolbox.html .

研究の動機と目的

• MATLABおよびOctave向けに、包括的で使いやすく、拡張可能な深層信念ネットワーク（DBNs）実装のためのツールボックスを提供すること。
• 複数のサンプリング手法（ギブス、CD、PCD、FEPCD）およびスパarsity制約（2次、レート歪み、通常）を含む、広範なトレーニング技術をサポートすること。
• 画像、音声、テキストなど多様なデータタイプにおいて、効果的な特徴量学習と分類を可能にすること。
• ラベルなしデータを用いた教師なし事前学習により、最先端のモデルと同等の分類精度を達成すること。

提案手法

• RBMsおよびDBNsのコンponentsをモジュラー化するオブジェクト指向設計に基づき、拡張性と再利用性を実現する。
• 対照的分散（CD）、恒常的CD（PCD）、ギブスサンプリング、および収束性を向上させるための新規FEPCD手法を含む、複数のトレーニングアルゴリズムを実装する。
• スパarsityは3つの方法で強制される：2次、レート歪み、および新たに提案された通常スパarsity手法。
• 生成的および判別的RBMsの両方をサポートすることで、モデルアーキテクチャの柔軟性を提供する。
• 大規模データセットのトレーニングを高速化するため、GPUアクセラレーションを統合する。
• DBNは、各層をグリーディ層別教師なし学習で事前学習するRBMsのスタックとして構築される。

実験結果

リサーチクエスチョン

• RQ1 オープンソースでオブジェクト指向のツールボックスは、多様なトレーニングおよび正則化手法をサポートし、深層信念ネットワークの実装を効果的に可能にするか？
• RQ2 提案されたFEPCDサンプリング手法は、CDやPCDといった標準的手法と比較して、収束性および性能面で優れているか？
• RQ3 DeeBNetは、画像、音声、テキストといった異なるデータモダリティにおいて、ラベルなしデータから意味のある表現をどれほど効果的に学習できるか？
• RQ4 DeeBNetを用いて実装されたDBNの分類性能は、ベンチマークデータセットにおいて最先端の分類器と同等か、それ以上か？

主な発見

• MNISTデータセットでは、DeeBNetは最先端の手法と同等の分類誤差率を達成し、ラベルなしデータからの効果的な特徴量学習を示した。
• ISOLET音声データセットでは、教師なし事前学習を通じて判別性の高い特徴量が効果的に抽出され、優れた分類性能が得られた。
• 20 Newsgroupsテキストデータセットでは、ツールボックスが生のテキストから意味のある表現を学習し、競争力のある分類精度を達成した。
• 実験では、提案されたFEPCDサンプリング手法が、標準的なCDおよびPCD手法よりも収束性と安定性に優れたことが示された。
• ツールボックスはMATLABおよびGNU Octaveの両方で正常に実行され、クロスプラットフォーム互換性が確認された。
• GPU統合によりトレーニングが顕著に高速化され、特に深層アーキテクチャおよび大規模データセットにおいて顕著であった。