[論文レビュー] Expressive Power and Approximation Errors of Restricted Boltzmann Machines

Guido Montúfar, Johannes Rauh+1 more|arXiv (Cornell University)|Jun 12, 2014

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 39

ひとこと要約

本稿では、$n$ 個の可視ユニットと $m$ 個の隠れユニットを持つ制限付きボルツマンマシン（RBM）が達成可能な最良の近似と任意のターゲット確率分布との間の最大カルバック・ライブーラー発散の明示的上界を確立している。立方体分割上の独立分布の混合の部分モデルを分析することで、近似誤差が $n - \lfloor \log(m+1) \rfloor - \frac{m+1}{2^{ olimits \lfloor \log(m+1) \rfloor}} \approx (n-1) - \log(m+1)$ で有界であることが導かれる。これは、望ましい誤差許容誤差を満たすためにRBMのサイズを決定する理論的根拠を提供する。

ABSTRACT

We present explicit classes of probability distributions that can be learned by Restricted Boltzmann Machines (RBMs) depending on the number of units that they contain, and which are representative for the expressive power of the model. We use this to show that the maximal Kullback-Leibler divergence to the RBM model with $n$ visible and $m$ hidden units is bounded from above by $n - \left\lfloor \log(m+1) ight floor - \frac{m+1}{2^{\left\lfloor\log(m+1) ight floor}} \approx (n -1) - \log(m+1)$. In this way we can specify the number of hidden units that guarantees a sufficiently rich model containing different classes of distributions and respecting a given error tolerance.

研究の動機と目的

• 有限個の隠れユニットを備えた制限付きボルツマンマシン（RBM）の表現力の理解を目的とする。
• 特に立方体分割上の独立モデルの混合である、RBMが表現可能な明示的な確率分布のクラスを特定すること。
• 任意の分布を $n$ 個の可視ユニットと $m$ 個の隠れユニットを持つRBMで近似する際の最悪ケース近似誤差を定量化すること。
• 実用的応用において望ましい誤差許容誤差を達成するための隠れユニット数の選定に役立つ理論的ガイドラインを提供すること。

提案手法

• 著者らは、二値入力空間 $\{0,1\}^n$ 上の立方体分割における独立分布の混合で構成されるRBMの部分モデルを分析している。
• 帰納法と分割の議論を用いて、任意の分布からこれらの部分モデル内での最も近い分布へのカルバック・ライブーラー発散の上界を導出している。
• 入力空間を各ブロックに $2^{n_i}$ 個の変数を含むように分割し、各ブロックの誤差寄与を合算することで、上界を導出している。ここで $n_i$ は各ブロックの変数数を表す。
• 最適な分割は、$\lfloor \log(m+1) \rfloor$ 個のサイズ $2^{k-1}$ のブロックと、残りをサイズ $2^k$ とするものであり、ここで $k = n - \lfloor \log(m+1) \rfloor$ である。
• このような分割における総誤差を最小化することで、最終的な上界 $n - \lfloor \log(m+1) \rfloor - \frac{m+1}{2^{\lfloor \log(m+1) \rfloor}}$ を得ている。
• 解析では、RBMモデルの次元とその統計多様体の幾何学に関する既知の結果が活用されている。

実験結果

リサーチクエスチョン

• RQ1 可視ユニットが $n$ 個、隠れユニットが $m$ 個であるRBMが表現可能な確率分布のクラスは何か？
• RQ2 任意の分布と、RBMモデル内での最良の近似との間の最悪ケースカルバック・ライブーラー発散は何か？
• RQ3 望ましい近似誤差許容誤差を達成するために、隠れユニットの数をどのように選べばよいか？
• RQ4 構造的分割上の独立分布の混合を通じて、RBMの表現力は特徴づけられるか？

主な発見

• 任意の分布と $\operatorname{RBM}_{n,m}$ 内での最良の近似との間の最大カルバック・ライブーラー発散は、$n - \lfloor \log(m+1) \rfloor - \frac{m+1}{2^{\lfloor \log(m+1) \rfloor}}$ で上界がある。
• この上界は $(n-1) - \log(m+1)$ に近似され、誤差許容誤差の実用的推定値を提供する。
• 上界は、入力空間の立方体分割上での $m+1$ 個の独立分布の混合を分析することで導出された。
• この結果は、与えられた誤差許容誤差に対して、それを達成するために必要な最小の隠れユニット数を計算可能であることを示唆している。
• コンピュータ実験により、特に $n$ が小さい場合に、上界が真の近似誤差のオーダーを的確に捉えていることが確認されている。
• 従来の推定値よりもタイトな上界であり、かつ、誤差が 0.1 未満で過大評価されていた以前の誤りを是正している。