[論文レビュー] Deep Restricted Boltzmann Networks

Hengyuan Hu, Lisheng Gao+1 more|arXiv (Cornell University)|Nov 15, 2016

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 11

ひとこと要約

本稿では、階層的事前学習を必要とせず、複数のRBMsを統合的に統合し、エンド・ツー・エンドで学習可能なアーキテクチャを備えた、深層生成モデルであるDeep Restricted Boltzmann Networks（DRBNs）を提案する。すべての層を同時に学習可能であり、畳み込みRBMsを統合することで、MNISTおよびWeizmann Horsesデータセットにおいて、標準的なRBMsを上回る画像生成品質と特徴表現性能を達成した。

ABSTRACT

Building a good generative model for image has long been an important topic in computer vision and machine learning. Restricted Boltzmann machine (RBM) is one of such models that is simple but powerful. However, its restricted form also has placed heavy constraints on the models representation power and scalability. Many extensions have been invented based on RBM in order to produce deeper architectures with greater power. The most famous ones among them are deep belief network, which stacks multiple layer-wise pretrained RBMs to form a hybrid model, and deep Boltzmann machine, which allows connections between hidden units to form a multi-layer structure. In this paper, we present a new method to compose RBMs to form a multi-layer network style architecture and a training method that trains all layers jointly. We call the resulted structure deep restricted Boltzmann network. We further explore the combination of convolutional RBM with the normal fully connected RBM, which is made trivial under our composition framework. Experiments show that our model can generate descent images and outperform the normal RBM significantly in terms of image quality and feature quality, without losing much efficiency for training.

研究の動機と目的

• 単一層のRBMsに起因する表現力の制限を克服する深層の非方向生成モデルの開発。
• DBNsで用いられるグリーディ層別事前学習を回避し、すべてのRBMs層をスクラッチから統合的に学習可能にする。
• 画像データにおけるスケーラビリティと特徴学習の向上を図るため、深層アーキテクチャに畳み込みRBMsを統合する。
• 教師なし画像生成と下流の分類タスクの両方におけるモデル性能を評価する。
• 限られたラベル付きデータでも高品質な特徴を抽出できることを示し、微調整の必要性を低減する。

提案手法

• 各層が相互接続のない標準的なRBMsである複数のRBMsを段階的にスタックした、深層の非方向アーキテクチャを提案。
• 可視データの対数尤度を勾配上昇法で同時に最適化することで、すべてのRBMsパラメータを統合的に最適化する学習アルゴリズムを導入。
• RBMの条件付き独立性を活用し、近似的な推論と学習にフリーエネルギーと効率的なブロックギブスサンプリングを採用。
• 局所的な空間パターンを捉えるために、最初の層に畳み込みRBMsを統合し、スケーラビリティと特徴品質の向上を図る。
• 完全結合型と畳み込み型RBMsをハイブリッドに組み合わせたアーキテクチャを採用。畳み込み層が局所的特徴を捉え、より深い層がグローバル構造をモデル化する。
• ギブスサンプリングによる画像生成と、特徴抽出後の分類タスク評価を実施。

実験結果

リサーチクエスチョン

• RQ1 スタックされたRBMsから構成される深層非方向モデルは、単一層のRBMsよりも優れた画像生成と特徴学習を達成できるか？
• RQ2 スクラッチからすべてのRBMs層を統合的に学習することで、グリーディ層別事前学習に比べ、モデル品質と効率性が向上するか？
• RQ3 深層RBMsアーキテクチャに畳み込みRBMsを統合することで、画像データにおけるスケーラビリティと特徴表現が向上するか？
• RQ4 限られたラベル付きデータを有するデータセットに、DRBNsはどれほど一般化できるか？また、教師ありタスクにおける微調整の必要性を低減できるか？
• RQ5 DBM や ShapeBM とは異なり、事前学習を必要とせず、DRBNは意味のあるサンプルを直接エンド・ツー・エンド学習で生成できるか？

主な発見

• 3層のDRBNは、6,000個のラベル付きサンプルのみを用いてMNISTで3.29%のテスト誤差を達成し、標準的なRBMsを著しく上回った。
• 畳み込み型DRBNは、6,000個のラベル付きサンプルを用いてMNISTで2.92%のテスト誤差を達成し、完全結合型と比較して性能が向上した。
• Weizmann Horsesデータセットでは、DRBNが多様で現実的な馬の画像を生成した。特に畳み込み型バージョンは、ポーズや脚の詳細にわたる多様性を示した。
• 完全結合型DRBNは、より明瞭で滑らかな画像を生成したが、モード崩壊の傾向が強く、畳み込み型DRBNはノイズが多くなったが、構造的多様性に優れた。
• ShapeBM や DBM とは異なり、DRBNは意味のあるサンプルを生成するために層別事前学習を必要とせず、直接エンド・ツー・エンド学習が可能である。
• DRBNから抽出した特徴を分類タスクに用いた場合、さらなる微調整による性能向上はほとんど得られず、限られたラベル付きデータでもほぼ最適な特徴を抽出していることが示された。