[论文解读] Deep Narrow Boltzmann Machines are Universal Approximators

Guido Montúfar|arXiv (Cornell University)|Nov 14, 2014

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 6

一句话总结

本文证明了深度窄深玻尔兹曼机（DBMs）在具备足够深度与宽度时——具体而言，每个隐层的大小与可见层相同——可以普遍近似任意可见单元上的概率分布。关键洞见在于，在特定参数范围内，DBMs 可被视为前馈网络，从而实现顺序分析，并确立其表征能力至少与窄激活函数信念网络及受限玻尔兹曼机相当。

ABSTRACT

We show that deep narrow Boltzmann machines are universal approximators of probability distributions on the activities of their visible units, provided they have sufficiently many hidden layers, each containing the same number of units as the visible layer. We show that, within certain parameter domains, deep Boltzmann machines can be studied as feedforward networks. We provide upper and lower bounds on the sufficient depth and width of universal approximators. These results settle various intuitions regarding undirected networks and, in particular, they show that deep narrow Boltzmann machines are at least as compact universal approximators as narrow sigmoid belief networks and restricted Boltzmann machines, with respect to the currently available bounds for those models.

研究动机与目标

• 建立深度窄深玻尔兹曼机的通用近似性质，这是无向深度网络领域长期悬而未决的开放问题。
• 解决无向深度网络应与有向对应物（如深度置信网络）一样强大的直觉。
• 为深度窄DBMs实现通用近似的必要深度与宽度提供理论边界。
• 证明在特定参数条件下，DBMs 可被分析为前馈网络，从而实现顺序表征学习。
• 基于现有近似边界，比较DBMs相对于受限玻尔兹曼机与深度信念网络的紧凑性与表征效率。

提出的方法

• 识别一个参数区域，在该区域内深度玻尔兹曼机的行为类似于前馈网络，通过中和向上信号，使概率分布的顺序分析成为可能。
• 以深度信念网络（DBNs）的通用近似性质为基准，表明在相同深度与宽度约束下，DBMs 可模拟其表征能力。
• 应用 Montúfar & Ay（2011）的命题9，该命题表明受限玻尔兹曼机（RBMs）可近似任意分布在 $ n_1 + 1 $ 个相邻状态对的并集上的分布。
• 采用 Montúfar（2014）的命题10，表明前馈层可通过沿特定方向翻转输入状态，扩展可近似分布的集合。
• 构建一个集合序列 $ S^1 o S^2 o igcdots o S^L = \{0,1\}^n $，其中每一步利用RBMs与前馈层的性质，逐步覆盖所有二值配置。
• 使用维数计数论证推导通用近似的必要条件，将可见分布的 $ 2^n - 1 $ 维空间与DBM的 $ Ln^2 + (L+1)n $ 个参数进行比较。

实验结果

研究问题

• RQ1 深度窄深玻尔兹曼机能否普遍近似其可见单元上的任意概率分布？
• RQ2 在何种参数条件下，无向深度网络可被分析为前馈网络？
• RQ3 深度窄DBMs的表征能力与浅层RBMs及深度信念网络相比如何？
• RQ4 实现通用近似的最小深度与宽度是多少？
• RQ5 DBMs的组合结构能否被利用来顺序构建可近似分布的集合？

主要发现

• 当深度窄深玻尔兹曼机具有 $ L $ 个隐层，每层大小为 $ n $，且有 $ n $ 个可见单元时，只要 $ L $ 足够大，即可普遍近似 $ \{0,1\}^n $ 上的任意概率分布。
• 充分深度 $ L $ 的上界为 $ L = \frac{2^{n-1}}{2^k} $，其中 $ n = 2^k + k + 1 $，该结果由迭代扩展可近似状态集的RBM与前馈层性质推导得出。
• 通用近似的必要条件来自参数计数：参数数量 $ Ln^2 + (L+1)n $ 必须至少为 $ 2^n - 1 $，即概率单纯形的维数。
• 在特定参数区域内，DBM的上部中和了向上信号，使网络行为如同前馈层次结构，从而支持顺序分析。
• 基于当前理论边界，深度窄DBMs在紧凑性方面至少与窄Sigmoid信念网络及受限玻尔兹曼机同等优秀。
• 本文确立了无向深度网络可实现与有向深度网络相同的表征能力，以形式化证明解决了长期存在的直觉猜想。