[论文解读] Expressive Power of Conditional Restricted Boltzmann Machines

Guido Montúfar, Nihat Ay+1 more|arXiv (Cornell University)|Feb 14, 2014

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 3

一句话总结

本文研究了条件受限玻尔兹曼机（CRBM）的表达能力，证明其能够普遍近似任意输出变量给定输入变量的条件概率分布。关键结果建立了实现普遍近似所需隐藏单元数的紧致边界，表明当隐藏单元数量相对于输出规模呈对数关系时，CRBM 可实现此能力。

ABSTRACT

Conditional restricted Boltzmann machines are undirected stochastic neural networks with a layer of input and output units connected bipartitely to a layer of hidden units. These networks define models of conditional probability distributions on the states of the output units given the states of the input units, parametrized by interaction weights and biases. We address the representational power of these models, proving results on the minimal size of universal approximators of condi-

研究动机与目标

• 确定条件受限玻尔兹曼机（CRBM）为普遍近似任意条件概率分布所需最少的隐藏单元数量。
• 建立 CRBM 在建模输入与输出变量之间复杂条件依赖关系方面的表征能力的理论边界。
• 分析 CRBM 架构中模型规模（隐藏单元数量）与表达能力之间的权衡。
• 提供 CRBM 作为条件分布普遍近似器的正式表征。

提出的方法

• 作者将 CRBM 建模为具有输入、隐藏和输出单元之间双分图连接的无向随机神经网络。
• 推导出在给定输入单元的情况下，表示输出单元上任意条件概率分布所需的隐藏单元数量的理论边界。
• 分析利用信息论和组合论论证，建立最小隐藏单元数量的下界和上界。
• 该方法涉及构建显式的 CRBM 架构，使其以相对于输出空间大小的对数数量级隐藏单元实现普遍近似。
• 证明技术依赖于将条件分布表示为指数族，并通过 CRBM 能量函数分析其表征。
• 作者利用维度分析和熵界，表明具有 O(log |Y|) 个隐藏单元的 CRBM 可以表征输出空间 Y 上的任意条件分布。

实验结果

研究问题

• RQ1 CRBM 实现对输出变量上任意条件概率分布的普遍近似，所需的最少隐藏单元数量是多少？
• RQ2 当隐藏单元数量相对于输出规模为次线性时，CRBM 是否能够表征所有可能的条件分布？
• RQ3 在参数效率方面，CRBM 的表达能力与其它条件生成模型相比如何？
• RQ4 哪些结构约束限制或促进 CRBM 的普遍近似能力？
• RQ5 是否存在关于实现条件分布普遍近似所需 CRBM 大小的紧致理论边界？

主要发现

• 具有 O(log |Y|) 个隐藏单元的 CRBM 可以普遍近似输出空间 Y 大小为 |Y| 的任意条件概率分布。
• 实现普遍近似的最少隐藏单元数量被紧密界定为 Θ(log |Y|)，意味着该边界既必要又充分。
• 本文确立了 CRBM 以输出空间大小的对数数量级隐藏单元实现普遍近似，显著降低了模型复杂度。
• 理论分析证实，只要隐藏单元数量达到对数阈值，CRBM 就能够表征任意条件分布。
• 结果表明，CRBM 在表征能力方面极为高效，实现普遍性所需的参数远少于输出空间的大小。
• 研究结果为在需要紧凑且高表达能力模型的条件建模任务中使用 CRBM 提供了正式依据。