[论文解读] Geometry and Expressive Power of Conditional Restricted Boltzmann Machines

Guido Montúfar, Nihat Ay+1 more|arXiv (Cornell University)|Feb 14, 2014

Generative Adversarial Networks and Image Synthesis参考文献 15被引用 10

一句话总结

本文研究了条件受限玻尔兹曼机（CRBMs）的表征能力，证明了其对任意条件分布和确定性策略的近似能力的界限。研究发现，仅当隐藏单元数 m ≥ 2^k − 1 时，具有 m 个隐藏单元的 CRBM 才能普遍近似任意条件分布，并通过模型维度和近似误差的几何与代数分析，刻画了其表达能力。

ABSTRACT

Conditional restricted Boltzmann machines are undirected stochastic neural networks with a layer of input and output units connected bipartitely to a layer of hidden units. These networks define models of conditional probability distributions on the states of the output units given the states of the input units, parametrized by interaction weights and biases. We address the representational power of these models, proving results their ability to represent conditional Markov random fields and conditional distributions with restricted supports, the minimal size of universal approximators, the maximal model approximation errors, and on the dimension of the set of representable conditional distributions. We contribute new tools for investigating conditional probability models, which allow us to improve the results that can be derived from existing work on restricted Boltzmann machine probability models.

研究动机与目标

• 理解条件受限玻尔兹曼机（CRBMs）在建模条件概率分布方面的表征能力。
• 确定 CRBM 作为条件分布通用近似器所需的最少隐藏单元数。
• 分析可表征条件分布集合的维度以及可达到的最大近似误差。
• 研究哪些类别的确定性策略可被 CRBMs 任意良好地近似。
• 开发针对条件模型的新理论工具，扩展标准 RBM 理论的结果。

提出的方法

• 将 CRBMs 形式化为一类由输入相关隐藏偏置参数化的 RBMs，其权重和可见单元偏置在不同输入间共享。
• 利用代数统计与信息几何的工具分析模型流形的几何结构，以确定可表征条件分布集合的期望维度。
• 运用组合数学与线性阈值函数理论，推导出实现条件分布通用近似的隐藏单元数的上下界。
• 应用线性阈值函数（LTFs）的结果，限制 CRBMs 可近似的确定性策略数量，表明 CRBMs 的能力受限于两个 LTF 的复合。
• 使用 Kullback-Leibler 散度量化近似误差，并推导出在固定模型规模下可达到的最小误差界限。
• 证明仅当策略 f(x) 为两个线性阈值函数复合的不动点时，CRBM 才能任意良好地近似该确定性策略。

实验结果

研究问题

• RQ1 CRBM 要实现对任意条件分布的通用近似，所需的最少隐藏单元数是多少？
• RQ2 在固定隐藏单元数下，哪些类别的条件分布可被 CRBM 表征或近似？
• RQ3 对于给定输入、输出和隐藏单元数的 CRBM，其可表征的条件分布集合的维度是多少？
• RQ4 对于给定的 CRBM 架构，Kullback-Leibler 近似误差最小可达到多小？
• RQ5 在何种条件下，CRBM 可以任意良好地近似一个确定性策略？

主要发现

• 在具有 k 个输入单元、n 个输出单元和 m 个隐藏单元的 CRBM 中，可表征条件分布集合的维度在一般条件下等于自由参数的数量，即 k·n + k·m + n·m + m。
• 仅当隐藏单元数 m 满足 m ≥ 2^k − 1 时，CRBM 才能普遍近似任意条件分布，且该条件对确定性策略的通用近似是紧的。
• CRBM 可任意良好近似的确定性策略数量，其上界为 2^{m(n+k)^2 + n m^2}，远小于所有可能的确定性策略总数 2^{n 2^k}。
• 仅当函数 f: {0,1}^k → {0,1}^n 为两个线性阈值函数复合的不动点时，CRBM 才能任意良好地近似该确定性策略：一个从 {0,1}^{k+n} 到 {0,1}^m，另一个从 {0,1}^m 到 {0,1}^n。
• 具有 m 个隐藏单元的 CRBM 的最小近似误差被一个随 m 增加而减小的函数下界所限制，且当 m 增大时误差可任意缩小。
• 仅当隐藏单元数至少为 2^k − 1 时，CRBM 才能实现对条件分布的通用近似，这与对 k 位输入的确定性函数实现通用近似的最小规模要求一致。