[論文レビュー] Expressive Power of Conditional Restricted Boltzmann Machines

Guido Montúfar, Nihat Ay+1 more|arXiv (Cornell University)|Feb 14, 2014

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 3

ひとこと要約

この論文は、条件付き制限ボルツマンマシン（CRBM）の表現力について調査し、入力変数が与えられたもとで出力変数の任意の条件付き確率分布を普遍的に近似できることを証明している。主な結果として、普遍的近似に必要な最小の隠れユニット数のタイトな境界を確立し、出力サイズに対して対数的数の隠れユニットを備えたCRBMが、この能力を達成できることを示している。

ABSTRACT

Conditional restricted Boltzmann machines are undirected stochastic neural networks with a layer of input and output units connected bipartitely to a layer of hidden units. These networks define models of conditional probability distributions on the states of the output units given the states of the input units, parametrized by interaction weights and biases. We address the representational power of these models, proving results on the minimal size of universal approximators of condi-

研究の動機と目的

• 条件付き制限ボルツマンマシン（CRBM）が、任意の条件付き確率分布を普遍的に近似できるために必要な最小の隠れユニット数を特定すること。
• 入力変数と出力変数の間の複雑な条件付き依存関係をモデル化する際の、CRBMの表現能力に関する理論的境界を確立すること。
• CRBMアーキテクチャにおけるモデルサイズ（隠れユニット数）と表現力のトレードオフを分析すること。
• CRBMが条件付き分布の普遍的近似器として機能できる条件を形式的に特徴づけること。

提案手法

• 著者たちは、入力、隠れ、出力ユニットの間で二部グラフ構造を持つ無向確率的ニューラルネットワークとしてCRBMをモデル化している。
• 入力ユニットが与えられたもとで、出力ユニットの任意の条件付き確率分布を表現するために必要な隠れユニット数の理論的境界を導出している。
• 情報理論的および組合せ的議論を用いて、最小の隠れユニット数の下限と上限を確立している。
• 出力空間のサイズに関して対数的数の隠れユニットを備えたCRBMアーキテクチャを明示的に構築し、普遍的近似を達成している。
• 証明技法は、条件付き分布を指数型分布族として表現し、CRBMのエネルギー関数によるその表現を分析することに依拠している。
• 次元数の議論とエントロピーの境界を用いて、O(log |Y|)の隠れユニットを備えたCRBMが、出力空間Yの任意の条件付き分布を表現可能であることを示している。

実験結果

リサーチクエスチョン

• RQ1 CRBMが、出力変数の任意の条件付き確率分布を普遍的に近似できるために必要な最小の隠れユニット数は何か？
• RQ2 出力サイズに対して部分線形な数の隠れユニットを備えたCRBMは、すべての可能な条件付き分布を表現できるか？
• RQ3 パrameter効率の観点から、CRBMの表現力は他の条件付き生成モデルと比べてどうか？
• RQ4 CRBMの普遍的近似能力を制限または可能にする構造的制約は何か？
• RQ5 条件付き分布の普遍的近似を達成するために必要なCRBMのサイズに関するタイトな理論的境界はあるか？

主な発見

• 出力空間Yのサイズが|Y|である場合、O(log |Y|)の隠れユニットを備えたCRBMは、Y上での任意の条件付き確率分布を普遍的に近似できる。
• 普遍的近似に必要な最小の隠れユニット数は、Θ(log |Y|)でタイトに束縛されており、この境界は必要かつ十分である。
• この論文は、CRBMが出力空間のサイズに対して対数的数の隠れユニットを備えることで、普遍的近似を達成できることを確立している。これは、モデルの複雑さを顕著に低減する。
• 理論的分析により、CRBMが任意の条件付き分布を表現可能であることが確認されており、その条件は隠れユニット数が対数的閾値を満たしていることである。
• 結果は、CRBMが表現能力の面で極めて効率的であることを示しており、出力空間のサイズに比べてはるかに少ないパrameter数で普遍性を達成できることを示している。
• これらの発見は、コンパクトで表現力の高いモデルが不可欠な条件付きモデリングタスクにおいてCRBMが有効に使用できるという形式的根拠を提供している。