[論文レビュー] A brief survey on deep belief networks and introducing a new object oriented MATLAB toolbox (DeeBNet).

Mohammad Ali Keyvanrad, Mohammad Mehdi Homayounpour|arXiv (Cornell University)|Aug 14, 2014

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 72

ひとこと要約

この論文では、複数のRBMタイプ、サンプリング手法（新規のFEPCDを含む）、スパarsity技法、GPUアクセラレーションをサポートする、オープンソースでオブジェクト指向のMATLAB/OctaveツールボックスであるDeeBNetを紹介する。MNIST、ISOLET、20 Newsgroupsにおける実験では、ツールボックスがラベルなしデータから効果的な表現を学習し、最先端のモデルと同等の分類誤差を達成することが示された。

ABSTRACT

Nowadays, this is very popular to use the deep architectures in machine learning. Deep Belief Networks (DBNs) are deep architectures that use stack of Restricted Boltzmann Machines (RBM) to create a powerful generative model using training data. DBNs have many ability like feature extraction and classification that are used in many applications like image processing, speech processing and etc. This paper introduces a new object oriented MATLAB toolbox with most of abilities needed for the implementation of DBNs. In the new version, the toolbox can be used in Octave. According to the results of the experiments conducted on MNIST (image), ISOLET (speech), and 20 Newsgroups (text) datasets, it was shown that the toolbox can learn automatically a good representation of the input from unlabeled data with better discrimination between different classes. Also on all datasets, the obtained classification errors are comparable to those of state of the art classifiers. In addition, the toolbox supports different sampling methods (e.g. Gibbs, CD, PCD and our new FEPCD method), different sparsity methods (quadratic, rate distortion and our new normal method), different RBM types (generative and discriminative), using GPU, etc. The toolbox is a user-friendly open source software and is freely available on the website this http URL .

研究の動機と目的

• 研究および応用分野における深層信念ネットワーク（DBNs）を実装するためのアクセスしやすく、柔軟性があり、効率的なツールの需要が高まっているのに対応する。
• 幅広いDBNの構成とトレーニング手法をサポートする、使いやすくオープンソースのMATLAB/Octaveツールボックスを提供する。
• 多様なデータタイプにおいて、ラベルなしデータからの自動特徴抽出を可能にするとともに、競争力のある分類パフォーマンスを達成する。
• FEPCDサンプリングや新規のノーマルスパarsity手法といった新規手法を用いて、DBNの実装能力を拡張する。
• 学術的および研究的環境での広範なアクセス性を確保するため、MATLABおよびOctaveとの互換性を保証する。

提案手法

• オブジェクト指向設計を採用することで、DBNsのモジュラーかつ拡張可能な開発を支援する。
• 深層生成モデリングのコアとなる構成要素として、複数の制限付きボルツマンマシン（RBMs）のスタックを用いる。
• ギブス、対照的分散（CD）、恒常的CD（PCD）、および収束性を向上させるための新規FEPCD手法を含む、複数のトレーニングアルゴリズムをサポートする。
• 特徴抽出の向上を図るため、2次関数的、レート歪み理論的、および新たに提案されたノーマル手法を用いてスパarsityを強制する。
• 生成的および判別的RBMsの両方のバリアントをサポートし、高速化のためGPUアクセラレーションを統合する。
• 研究コミュニティにおけるアクセス性を高めるために、MATLABおよびOctaveの両方と互換性を持つように設計されている。

実験結果

リサーチクエスチョン

• RQ1 使いやすいオープンソースのツールボックスは、多様な機械学習タスクにおいて深層信念ネットワーク（DBNs）の実装を効果的にサポートできるか？
• RQ2 提案されたFEPCDサンプリング手法は、CDやPCDといった既存手法と比較して、学習効率および表現品質の面でどの程度優れているか？
• RQ3 画像・音声・テキストデータセットのすべてにおいて、このツールボックスはラベルなしデータから意味のある特徴をどの程度効果的に学習できるか？
• RQ4 標準ベンチマークデータセットにおいて、このツールボックスは最先端のモデルと同等の分類パフォーマンスを達成できるか？
• RQ5 新規のスパarsity手法、特に提案されたノーマル手法は、特徴の識別性を向上させるためにどの程度有効か？

主な発見

• DeeBNetツールボックスは、MNIST、ISOLET、20 Newsgroupsデータセットにおいて、ラベルなしデータから効果的で階層的な表現を学習した。
• 3つのベンチマークデータセットすべてにおいて、ツールボックスが達成した分類誤差は、最先端の分類器と同等であった。
• 新規のFEPCDサンプリング手法は、トレーニングの安定性と収束性を向上させ、より良い特徴抽出に貢献した。
• 新規のノーマル手法を含む複数のスパarsity手法の導入により、特徴の識別性とモデルのパフォーマンスが向上した。
• MATLABおよびOctave環境の両方で、高い互換性と機能性を示した。
• GPUサポートによりトレーニングが著しく高速化され、大規模なディープラーニング実験に実用的であることが明らかになった。