[论文解读] How to Center Binary Deep Boltzmann Machines

Jan Melchior, Asja Fischer+1 more|arXiv (Cornell University)|Nov 6, 2013

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 3

一句话总结

本文通过从可见单元和隐藏单元中减去均值，提出了一种用于二值深度玻尔兹曼机（DBMs）和受限玻尔兹曼机（RBMs）的中心化技术，该方法可稳定训练过程，提升对数似然性能，并使更新方向与自然梯度对齐。该方法被证明可消除对贪婪预训练的需求，并在生成建模中优于标准RBMs/DBMs及增强梯度方法，尤其当使用指数加权移动平均估计偏移量时表现更优。

ABSTRACT

This work analyzes centered binary Restricted Boltzmann Machines (RBMs) and binary Deep Boltzmann Machines (DBMs), where centering is done by subtracting offset values from visible and hidden variables. We show analytically that (i) centering results in a different but equivalent parameterization for artificial neural networks in general, (ii) the expected performance of centered binary RBMs/DBMs is invariant under simultaneous flip of data and offsets, for any offset value in the range of zero to one, (iii) centering can be reformulated as a different update rule for normal binary RBMs/DBMs, and (iv) using the enhanced gradient is equivalent to setting the offset values to the average over model and data mean. Furthermore, numerical simulations suggest that (i) optimal generative performance is achieved by subtracting mean values from visible as well as hidden variables, (ii) centered RBMs/DBMs reach significantly higher log-likelihood values than normal binary RBMs/DBMs, (iii) centering variants whose offsets depend on the model mean, like the enhanced gradient, suffer from severe divergence problems, (iv) learning is stabilized if an exponentially moving average over the batch means is used for the offset values instead of the current batch mean, which also prevents the enhanced gradient from diverging, (v) centered RBMs/DBMs reach higher LL values than normal RBMs/DBMs while having a smaller norm of the weight matrix, (vi) centering leads to an update direction that is closer to the natural gradient and that the natural gradient is extremly efficient for training RBMs, (vii) centering dispense the need for greedy layer-wise pre-training of DBMs, (viii) furthermore we show that pre-training often even worsen the results independently whether centering is used or not, and (ix) centering is also beneficial for auto encoders.

研究动机与目标

• 为解决RBMs/DBMs在数据位翻转变换下缺乏不变性的问题。
• 探究对可见单元和隐藏单元进行中心化是否能提升训练稳定性和模型性能。
• 分析中心化与二值RBMs和DBMs中自然梯度之间的关系。
• 评估中心化是否可替代深度玻尔兹曼机中的贪婪逐层预训练。
• 评估中心化对自编码器和生成建模性能的影响。

提出的方法

• 通过从RBMs和DBMs中的可见变量和隐藏变量中减去偏移值（即可见单元和隐藏单元的均值）来实现中心化。
• 该方法将梯度更新规则重新参数化为等价形式，保持模型等价性的同时改善优化特性。
• 作者推导出当偏移量设置为数据均值与模型均值的平均值时，中心化与增强梯度方法在数学上等价。
• 采用批量均值的指数加权移动平均来估计偏移量，防止学习过程发散。
• 理论分析表明，中心化可使更新方向更接近自然梯度，这对基于流形的优化是最优的。
• 数值模拟在多种训练协议下对比了中心化模型与标准RBMs/DBMs及增强梯度变体的性能。

实验结果

研究问题

• RQ1 在二值RBMs和DBMs中对可见单元和隐藏单元进行中心化是否能提升训练稳定性和对数似然性能？
• RQ2 中心化RBMs/DBMs中的更新方向是否比标准模型更接近自然梯度？
• RQ3 中心化是否能消除深度玻尔兹曼机中对贪婪逐层预训练的需求？
• RQ4 在收敛性和生成性能方面，中心化与增强梯度方法相比如何？
• RQ5 在中心化中，估计偏移量的最优策略是什么——批量均值、移动平均还是模型均值？

主要发现

• 中心化RBMs和DBMs即使在权重矩阵范数更小的情况下，也能获得显著更高的对数似然值。
• 中心化稳定了学习过程并防止了发散，尤其当使用指数移动平均估计偏移量而非批量均值时效果更明显。
• 增强梯度方法与将偏移量设为数据均值与模型均值平均值的情况等价，但若未正确估计偏移量，此选择会导致严重发散。
• 中心化模型在获得更高对数似然值的同时，对初始学习率和数据表示的敏感性更低。
• 中心化消除了DBMs中对贪婪预训练的需求，且实验证明无论是否中心化，预训练都会降低性能。
• 中心化在自编码器中也提升了性能，表明其应用范围不仅限于生成模型。