[論文レビュー] Discrete Restricted Boltzmann Machines

Guido Montúfar, Jason Morton|arXiv (Cornell University)|Jan 15, 2013

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 4

ひとこと要約

本稿では、離散的な可視単位および隠れ単位を備えた確率的モデルとしての離散的制限付きボルツマンマシン（RBM）を導入し、2値RBMおよびナイーブベイズモデルを一般化する。幾何学的・代数的道具を用いてその表現能力を確立し、十分な隠れユニット数があれば任意の可視分布を任意の精度で近似できることを示し、トロピカル幾何学と符号理論を用いて次元を計算する。

ABSTRACT

We describe discrete restricted Boltzmann machines: probabilistic graphical models with bipartite interactions between visible and hidden discrete variables. Examples are binary restricted Boltzmann machines and discrete naive Bayes models. We detail the inference functions and distributed representations arising in these models in terms of configurations of projected products of simplices and normal fans of products of simplices. We bound the number of hidden variables, depending on the cardinalities of their state spaces, for which these models can approximate any probability distribution on their visible states to any given accuracy. In addition, we use algebraic methods and coding theory to compute their dimension.

研究の動機と目的

• 離散的RBMを混合分布および制限付き混合分布の積として形式化する。
• 単体の射影的積の配置を用いて、離散的RBMにおける分散表現および推論関数を分析する。
• 可視分布を普遍的に近似できる最大の隠れユニット数（状態空間の基数に依存）を特定する。
• 代数幾何学およびトロピカル幾何学の手法を用いて、離散的RBMモデルの次元を計算する。
• 離散的RBMが期待される次元に達する条件を確立し、モデルの次元を符号理論および凸幾何学と結びつける。

提案手法

• 二部グラフ相互作用を用いて、離散的可視および隠れユニットを備えた指数型分布族として離散的RBMを形式化する。
• 推論関数を単体の積の射影およびその法線ファイバーとして表現する。
• 特にトロピカル極限において、離散的RBMの代数的構造をトロピカル幾何学を用いてモデル化する。
• 符号理論の境界（例えばギルバート＝ヴァルシャモフ境界）を用いて、モデル次元を決定する符号のサイズの下界を導出する。
• 単体の法線ファイバーによる凸サポートポリトープのスライシングを用いて次元の分析を行う。
• 代数統計および組合せ論の結果を活用し、特定の条件下でのモデルの期待次元を計算する。

実験結果

リサーチクエスチョン

• RQ1 与えられた状態空間サイズのもとで、離散的RBMが可視状態上の任意の確率分布を普遍的に近似できる隠れユニットの最大数は何か？
• RQ2 離散的RBMが期待される次元に達する条件は何か。これは単体の幾何学およびその法線ファイバーとどのように関係するか？
• RQ3 近似誤差および分散表現の観点から、離散的RBMの表現能力は2値RBMおよびナイーブベイズモデルと比べてどのように異なるか？
• RQ4 トロピカル幾何学および組合せ的符号理論を用いて、離散的RBMモデルの次元を正確に計算できるか？
• RQ5 離散的RBMの次元と、誤り訂正符号の被覆半径または最小距離の間にはどのような関係があるか？

主な発見

• 隠れユニット数が十分に多い場合、離散的RBMは可視状態上の任意の確率分布を任意の精度で近似可能であり、最大近似誤差は隠れ状態総数に対して少なくとも対数的に減少する。
• 隠れユニットの状態空間および可視構成が特定の組合せ的条件（例えば十分に大きなハミング球を含むこと）を満たす場合、モデルは期待される次元に達する。
• 可視ユニットが2値で、隠れユニットの状態数が $ m < 2^{n - ig floor ig floor $ である場合、離散的RBMは期待される次元を持つ。これは、2値RBMに関する先行結果を一般化する。
• トロピカル離散的RBMモデルの次元は、与えられた被覆半径を持つ最大の符号のサイズによって決定され、モデル次元と符号理論が結びつく。
• 可視空間に $ m $ 個の互いに素なハミング球（半径 $ 2| ilde{Y}_i| - 3 $）が含まれておき、補集合がフルランクである場合、トロピカルモデルは期待される次元に達する。
• 離散的RBMの次元は、単体の積の法線ファイバーによる凸サポートポリトープのスライシングを用いて計算可能であり、幾何学的・組合せ論的フレームワークを提供する。