[论文解读] In All Likelihood, Deep Belief Is Not Enough

Lucas Theis, Sebastian Gerwinn+2 more|arXiv (Cornell University)|Nov 28, 2010

Generative Adversarial Networks and Image Synthesis参考文献 49被引用 28

一句话总结

本文提出了一种计算上可行且一致的似然估计器，用于深度置信网络（DBNs），从而实现了对自然图像块建模中其性能的定量评估。利用该估计器，作者表明，此前被认为具有生物学合理性且有效的DBN模型，实际上在性能上远逊于高斯混合模型等更简单的模型，即使在最优训练条件下，更深的架构也仅带来微乎其微的性能提升。

ABSTRACT

Statistical models of natural stimuli provide an important tool for researchers in the fields of machine learning and computational neuroscience. A canonical way to quantitatively assess and compare the performance of statistical models is given by the likelihood. One class of statistical models which has recently gained increasing popularity and has been applied to a variety of complex data are deep belief networks. Analyses of these models, however, have been typically limited to qualitative analyses based on samples due to the computationally intractable nature of the model likelihood. Motivated by these circumstances, the present article provides a consistent estimator for the likelihood that is both computationally tractable and simple to apply in practice. Using this estimator, a deep belief network which has been suggested for the modeling of natural image patches is quantitatively investigated and compared to other models of natural image patches. Contrary to earlier claims based on qualitative results, the results presented in this article provide evidence that the model under investigation is not a particularly good model for natural images

研究动机与目标

• 为解决深度置信网络（DBNs）中似然计算不可行这一长期存在的挑战，该挑战限制了模型的定量评估。
• 提供一种一致且计算上可行的DBN似然估计器，以实现与其他统计模型的直接比较。
• 利用所提出的似然估计器，对在自然图像块上训练的DBN模型进行经验性能评估。
• 探究DBN中增加网络深度是否能显著提升密度估计性能，超越浅层模型。
• 挑战当前普遍认为DBN在建模自然图像统计特性方面优于其他模型的假设，该假设主要基于定性样本分析。

提出的方法

• 使用路径积分重要性采样（AIS）近似配分函数和边缘分布，开发一种针对DBNs的一致似然估计器。
• 采用1000个中间退火分布和线性退火调度，以提高估计精度。
• 在训练和评估期间，使用吉布斯采样结合平均场更新进行近似采样。
• 采用线性退火调度学习率和权重衰减，并结合动量，以稳定训练过程。
• 将GRBM中可见单元的协方差固定为σI，其中σ通过交叉验证进行优化。
• 通过递归地逐层使用AIS估计配分函数和边缘分布，来评估完整DBN的似然。

实验结果

研究问题

• RQ1 与高斯混合模型等简单模型相比，深度置信网络模型在自然图像块上的密度估计是否更优？
• RQ2 当每一层均经过最优训练时，DBN的深度增加如何影响其似然性能？
• RQ3 贪婪的逐层预训练过程在多大程度上限制了DBN在密度估计中的性能？
• RQ4 能否为DBNs开发一种一致且计算上可行的似然估计器，以实现定量的模型比较？
• RQ5 DBN生成样本在定性上与自然图像相似，是否足以证明其在统计上的充分性？

主要发现

• 所研究的深度置信网络模型在似然性方面显著劣于简单的高斯混合模型，其每分量的对数损失约为2.3比特。
• 即使经过最优训练，增加DBN的层数也仅带来微小的似然性能提升，表明深度带来的收益递减。
• 基于AIS的似然估计器在第二层使用100,000个样本、第三层使用1,000个样本，仍产生过于乐观的估计，表明评估过程存在高方差。
• GRBM组件随着隐藏单元数量增加和方差减小而持续改进，表明在更大架构下仍有进一步提升的潜力。
• 模型在定性上与自然图像的相似性——此前被视为成功证据——并未转化为由似然衡量的优越统计性能。
• 结果挑战了DBN在建模自然图像统计特性方面本质上更优的假设，表明更简单的模型在密度估计方面可能更为有效。