[論文レビュー] Restricted Boltzmann Machine and Deep Belief Network: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Jul 26, 2021

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

このチュートリアルおよびサーベイ論文は、制限ボルツマンマシン（RBMs）とディープベルリーフネットワーク（DBNs）の包括的な概要を提供しており、統計物理学および確率的グラフィカルモデルの理論的基盤を説明し、コントラストダイバージェンスおよびギブスサンプリングによるトレーニングを詳細に記述し、グリーディな事前学習とファインチューニングを通じてディープラーニングへの応用を示している。主な貢献は、RBMsおよびDBNsアーキテクチャを統一的かつ理解しやすいガイドとして提示し、現代のディープラーニングのブレークスルー以前に、勾配消失問題を克服し、ディープジェネレーティブモデルを可能にする役割を強調している。

ABSTRACT

This is a tutorial and survey paper on Boltzmann Machine (BM), Restricted Boltzmann Machine (RBM), and Deep Belief Network (DBN). We start with the required background on probabilistic graphical models, Markov random field, Gibbs sampling, statistical physics, Ising model, and the Hopfield network. Then, we introduce the structures of BM and RBM. The conditional distributions of visible and hidden variables, Gibbs sampling in RBM for generating variables, training BM and RBM by maximum likelihood estimation, and contrastive divergence are explained. Then, we discuss different possible discrete and continuous distributions for the variables. We introduce conditional RBM and how it is trained. Finally, we explain deep belief network as a stack of RBM models. This paper on Boltzmann machines can be useful in various fields including data science, statistics, neural computation, and statistical physics.

研究の動機と目的

• 機械学習およびデータサイエンス分野の研究者を対象に、ボルツマンマシン（BMs）、制限ボルツマンマシン（RBMs）、およびディープベルリーフネットワーク（DBNs）の包括的チュートリアルおよびサーベイを提供すること。
• 統計物理学、イジング模型、およびホフパインドネットワークからの基礎的コンセプトを、現代のRBMsおよびDBNsアーキテクチャに橋渡しすること。
• 最大尤度推定、コントラストダイバージェンス、およびギブスサンプリングを用いたRBMsのトレーニングメカニズムを説明すること。
• バックプロパゲーションによるファインチューニングと併せて、グリーディなレイヤーヹワイズ事前学習を通じてDBNsがどのようにディープラーニングを可能にするかを示すこと。
• RBMsおよびDBNsが勾配消失問題を克服し、2006年以降のディープニューラルネットワークの再興を可能にする上で果たした歴史的意義を強調すること。

提案手法

• ボルツマン／ギブス分布および統計物理学の原則を用いて、BMおよびRBMのエネルギーに基づくモデル定式化を導出する。
• RBMsにおける可視ユニットおよび隠れユニットの条件付き分布を説明し、同時確率モデルの構築を可能にする。
• RBMsにおける可視変数および隠れ変数の生成のためのギブスサンプリングを詳細に記述し、モデルのサンプリングおよびトレーニングの基盤を形成する。
• コントラストダイバージェンスを、RBMsの最大尤度トレーニングの効率的近似として導入し、計算コストを低減する。
• DBNsのグリーディなレイヤーワイズ事前学習アルゴリズムを提示し、各レイヤーをRBMとして学習した後、バックプロパゲーションによるファインチューニングを実施する。
• 条件付きRBM（CRBMs）およびその構造予測タスクへのトレーニングを記述し、RBMの能力を拡張する。

実験結果

リサーチクエスチョン

• RQ1 RBMsおよびDBNsは、エネルギーに基づく学習の文脈において、イジング模型およびホフパインドネットワークからどのように発展したか？
• RQ2 コントラストダイバージェンスは、近似的な最大尤度推定を用いたRBMsの効率的トレーニングをどのように可能にするか？
• RQ3 DBNsのグリーディな事前学習は、ディープネットワークにおける勾配消失問題をどのように軽減するか？
• RQ4 RBMsおよびDBNsは、自己符号化器の構成を通じて、構造予測および次元削減の文脈でどのように適合可能か？
• RQ5 RBMs、DBNs、およびヘルムホルツマシンやディープボルツマンマシンなどの他のエネルギーに基づくモデルとの間の主な理論的・実用的差異は何か？

主な発見

• RBMsおよびDBNsは、グリーディな事前学習による有効な重み初期化を可能にすることで、ディープネットワークにおける勾配消失問題を克服する上で中心的な役割を果たした。
• コントラストダイバージェンスは、正のフェーズと負のフェーズのデータ分布の差を最小化することで、RBMsの効率的かつ近似的な最大尤度トレーニングを可能にする。
• DBNsは、対称的なエンコーダ・デコーダアーキテクチャを用いて、データの低次元表現を学習することで、次元削減のためのディープオートエンコーダとして利用可能である。
• スピーク認識やアクション認識などの応用におけるDBNsの成功は、現代のディープラーニングフレームワークの登場以前に、複雑で高次元のデータを効果的にモデル化できることを示している。
• 現代のディープラーニングで広く使われるReLUやドロップアウトの後を追う形で、RBMsおよびDBNsは、2006年以降のディープニューラルネットワークの再興に理論的および実用的基盤を提供した。