[論文レビュー] Deep Narrow Boltzmann Machines are Universal Approximators

Guido Montúfar|arXiv (Cornell University)|Nov 14, 2014

Generative Adversarial Networks and Image Synthesis参考文献 27被引用数 6

ひとこと要約

この論文は、十分な深さと幅を持つ深層狭いボルツマン機械（DBMs）— 特に可視層と同一サイズの隠れ層を有するもの—が、可視ユニット上の任意の確率分布を普遍的に近似可能であることを証明している。主な洞察は、特定のパラメータ領域においてDBMsが順方向伝搬ネットワークとして扱えることであり、これにより逐次的解析が可能となり、その表現力が狭いシグモイド信念ネットワークや制限付きボルツマン機械と同等以上であることが明らかになった。

ABSTRACT

We show that deep narrow Boltzmann machines are universal approximators of probability distributions on the activities of their visible units, provided they have sufficiently many hidden layers, each containing the same number of units as the visible layer. We show that, within certain parameter domains, deep Boltzmann machines can be studied as feedforward networks. We provide upper and lower bounds on the sufficient depth and width of universal approximators. These results settle various intuitions regarding undirected networks and, in particular, they show that deep narrow Boltzmann machines are at least as compact universal approximators as narrow sigmoid belief networks and restricted Boltzmann machines, with respect to the currently available bounds for those models.

研究の動機と目的

• 非方向的深層ネットワーク分野における長年の未解決問題である、深層狭いボルツマン機械の普遍的近似性を確立すること。
• 非方向的深層ネットワークがその方向的類縁（例：深層信念ネットワーク）と同等の表現力を有するという直感を解明すること。
• 深層狭いDBMsにおける普遍的近似のための必要十分な深さと幅に関する理論的境界を提示すること。
• 特定のパrameter条件のもとでDBMsが順方向伝搬ネットワークとして解析可能であることを示し、逐次的表現学習を可能にすること。
• 既存の近似境界を用いて、DBMsと制限付きボルツマン機械および深層信念ネットワークとの間のコンパクト性と表現的効率を比較すること。

提案手法

• 上向き信号を中和することで、深層ボルツマン機械が順方向伝搬ネットワークとして振る舞うパラメータ領域を同定し、確率分布の逐次的解析を可能にする。
• 深層信念ネットワーク（DBNs）の普遍的近似性をベンチマークとして用い、同じ深さと幅の制約下でDBMsがその表現力を模倣できることを示した。
• Montúfar & Ay (2011) の命題9を適用し、制限付きボルツマン機械（RBMs）が $ n_1 + 1 $ 個の隣接する状態ペアの和集合上の任意の分布を近似可能であることを示した。
• Montúfar (2014) の命題10を用い、順方向伝搬層が特定の方向に沿って入力状態を反転させることで、近似可能な分布の集合を拡張できることを示した。
• 各ステップでRBMsおよび順方向伝搬層の性質を用いて、$ S^1 \to S^2 \to \cdots \to S^L = \{0,1\}^n $ の集合列を構築し、逐次的にすべてのバイナリ構成をカバーした。
• 次元数の数え上げ的議論を用いて、普遍的近似のための必要条件を導出し、可視分布の $ 2^n - 1 $ 次元空間とDBMの $ Ln^2 + (L+1)n $ パラメータ数を比較した。

実験結果

リサーチクエスチョン

• RQ1 深層狭いボルツマン機械は、可視ユニット上の任意の確率分布を普遍的に近似可能か？
• RQ2 非方向的深層ネットワークが順方向伝搬ネットワークとして解析可能となるパラメータ条件は何か？
• RQ3 深層狭いDBMsの表現力は、浅いRBMsや深層信念ネットワークと比べてどうか？
• RQ4 深層狭いDBMが普遍的近似を達成するための最小深さと幅は何か？
• RQ5 DBMsの構成的構造を活用して、近似可能な分布の集合を逐次的に構築可能か？

主な発見

• 深さ $ L $、各隠れ層がサイズ $ n $、可視ユニットが $ n $ 個の深層狭いボルツマン機械は、$ L $ が十分に大きい限り、$ \{0,1\}^n $ 上の任意の確率分布を普遍的に近似可能である。
• 十分な深さ $ L $ は、RBMsおよび順方向伝搬層の性質を用いた近似可能状態集合の反復的拡張に基づき、$ n = 2^k + k + 1 $ のもとで $ L = \frac{2^{n-1}}{2^k} $ で上限付けられる。
• 普遍的近似の必要条件はパrameter数の数え上げから導出された：パラメータ数 $ Ln^2 + (L+1)n $ は、確率単体の次元 $ 2^n - 1 $ 以上でなければならない。
• 特定のパラメータ領域では、DBMの上部が上向き信号を中和し、ネットワークが順方向伝搬階層として振る舞うようになる。これにより逐次的解析が可能になる。
• 現在の理論的境界に基づくと、深層狭いDBMsは狭いシグモイド信念ネットワークや制限付きボルツマン機械と同等以上にコンパクトな普遍的近似器である。
• 本論文は、非方向的深層ネットワークが方向的深層ネットワークと同等の表現力を達成できることを示し、長年の直感的仮説を形式的証明によって解消した。