[論文レビュー] Geometry and Expressive Power of Conditional Restricted Boltzmann Machines

Guido Montúfar, Nihat Ay+1 more|arXiv (Cornell University)|Feb 14, 2014

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 10

ひとこと要約

この論文は、条件付き制限ボルツマンマシン（CRBMs）の表現能力を調査し、任意の条件付き分布および決定的方策を近似する能力に関する上限を証明している。CRBMsが任意の条件付き分布を普遍的に近似できるのは、隠れユニット数 m が m ≥ 2^k − 1 を満たす場合に限られ、モデルの次元と近似誤差の幾何学的・代数的解析を通じて表現力が同定されている。

ABSTRACT

Conditional restricted Boltzmann machines are undirected stochastic neural networks with a layer of input and output units connected bipartitely to a layer of hidden units. These networks define models of conditional probability distributions on the states of the output units given the states of the input units, parametrized by interaction weights and biases. We address the representational power of these models, proving results their ability to represent conditional Markov random fields and conditional distributions with restricted supports, the minimal size of universal approximators, the maximal model approximation errors, and on the dimension of the set of representable conditional distributions. We contribute new tools for investigating conditional probability models, which allow us to improve the results that can be derived from existing work on restricted Boltzmann machine probability models.

研究の動機と目的

• 条件付き確率分布をモデル化する際の条件付き制限ボルツマンマシン（CRBMs）の表現能力を理解すること。
• CRBMが条件付き分布の普遍的近似子として機能するための最小隠れユニット数を特定すること。
• 表現可能な条件付き分布の集合の次元と、達成可能な最大近似誤差を分析すること。
• どのクラスの決定的方策がCRBMsによって任意に良く近似可能かを調査すること。
• 条件付きモデルに特化した新しい理論的ツールを開発し、標準的なRBMs理論の結果を拡張すること。

提案手法

• 入力依存の隠れユニットバイアスでパラメータ化されたRBMsの族としてCRBMsを定式化し、入力間で重みと可視ユニットバイアスを共有する。
• 代数的統計と情報幾何の道具を用いてモデル多様体の幾何を分析し、表現可能な条件付き分布の集合の期待次元を特定する。
• 組合せ論的および線形しきい値関数理論を用いて、条件付き分布の普遍的近似に必要な隠れユニット数の上限と下限を導出する。
• 線形しきい値関数（LTFs）に関する結果を応用し、近似可能な決定的方策の数を制限し、CRBMsが2つのLTFの合成によって制限されることを示す。
• Kullback-Leibler発散度を用いて近似誤差を定量化し、固定されたモデルサイズにおける最小達成可能誤差の上限を導出する。
• CRBMが決定的方策 f(x) を任意に良く近似できるのは、その方策 f が2つの線形しきい値関数の合成の不動点として生じる場合に限ることを証明する。

実験結果

リサーチクエスチョン

• RQ1 CRBMが任意の条件付き分布を普遍的に近似できるために必要な最小隠れユニット数は何か？
• RQ2 固定された隠れユニット数を有するCRBMが表現可能または近似可能な条件付き分布のクラスは何か？
• RQ3 与えられた入力・出力・隠れユニット数を持つCRBMが表現可能な条件付き分布の集合の次元は何か？
• RQ4 与えられたCRBMアーキテクチャにおいて、Kullback-Leibler近似誤差はどの程度小さくできるか？
• RQ5 どのような条件下でCRBMが決定的方策を任意に良く近似できるか？

主な発見

• k個の入力ユニット、n個の出力ユニット、m個の隠れユニットを有するCRBMにおいて、代表可能な条件付き分布の集合の次元は、一般に自由パラメータの数、すなわち k·n + k·m + n·m + m に等しい。
• CRBMが任意の条件付き分布を普遍的に近似できるのは、隠れユニット数 m が m ≥ 2^k − 1 を満たす場合に限られ、これは決定的方策の普遍的近似においてタイトな境界である。
• CRBMによって任意に良く近似可能な決定的方策の数は、2^{m(n+k)^2 + n m^2} で上界が与えられ、全可能な決定的方策数 2^{n 2^k} よりも著しく小さい。
• CRBMが決定的方策 f: {0,1}^k → {0,1}^n を任意に良く近似できるのは、f が2つの線形しきい値関数の合成の不動点として生じる場合に限る。1つ目は {0,1}^{k+n} から {0,1}^m への写像、2つ目は {0,1}^m から {0,1}^n への写像である。
• m個の隠れユニットを有するCRBMの最小近似誤差は、mとともに減少する関数で下限が与えられ、mが増加するにつれて誤差を任意に小さくできる。
• CRBMが条件付き分布を普遍的に近似できるのは、隠れユニット数が 2^k − 1 以上である場合に限られ、これはkビット入力の決定的関数の普遍的近似に必要な最小サイズと一致する。