[论文解读] Joint Training of Deep Boltzmann Machines

Ian Goodfellow, Aaron Courville+1 more|arXiv (Cornell University)|Dec 12, 2012

Generative Adversarial Networks and Image Synthesis参考文献 5被引用 25

一句话总结

本文提出一种基于新型确定性修复准则的深度玻尔兹曼机（DBMs）联合训练方法，实现了无需贪婪逐层预训练的端到端判别性训练。该方法在MNIST数据集上取得1.19%的测试错误率，优于无预训练的标准变分学习方法，表明联合训练可达到甚至超越传统两阶段方法的性能。

ABSTRACT

We introduce a new method for training deep Boltzmann machines jointly. Prior methods require an initial learning pass that trains the deep Boltzmann machine greedily, one layer at a time, or do not perform well on classifi- cation tasks.

研究动机与目标

• 为克服DBMs中贪婪逐层预训练的局限性，该方法可实现更优的权重初始化并考虑深层单元之间的交互作用。
• 通过一种确定性且可扩展的准则，实现所有DBM组件（可见单元、隐藏单元和标签单元）的端到端联合训练。
• 通过直接优化与下游预测任务对齐的准则，而非依赖生成预训练后微调，从而提升分类任务的判别性能。
• 消除对昂贵的MCMC梯度估计和随机优化的依赖，从而改善收敛性和稳定性。

提出的方法

• 提出联合DBM修复（JDBM）准则，通过最小化真实后验分布与缺失变量上的平均场近似之间的KL散度实现优化。
• 采用确定性优化目标，避免难以计算的分区函数估计和MCMC采样，从而支持使用非线性共轭梯度下降实现稳定训练。
• 应用平均场推理来近似隐藏单元的后验分布，通过条件性遮蔽变量并利用JDBM准则进行重建。
• 基于验证误差采用早停策略以防止过拟合并提升泛化能力，替代固定训练轮数的训练方式。
• 采用混合特征提取流程：在标签单元固定为0的条件下对可见单元执行平均场推理，生成的特征输入多层感知机以完成最终分类。
• 实施中心化技巧以稳定训练，在无预训练条件下提升泛化性能。

实验结果

研究问题

• RQ1 是否能够通过一种确定性的联合训练准则替代DBMs中的贪婪逐层预训练，同时保持或提升分类准确率？
• RQ2 使用JDBM修复准则进行联合训练是否能实现比无预训练的标准变分学习更好的泛化性能？
• RQ3 在MNIST基准上，联合训练的DBM性能是否优于标准的两阶段方法（RBMs + DBM）？
• RQ4 JDBM准则是否能有效引导优化过程，以获得更优的判别性表征，而无需依赖MCMC梯度估计？

主要发现

• 所提出的联合训练方法在MNIST上实现了1.19%的测试错误率，显著优于无预训练的标准DBM变分学习方法（1.69%错误率）。
• 使用JDBM准则训练的模型在训练集上的修复错误率低于无预训练的标准方法，表明其具有更优的表征学习能力。
• 即使未采用贪婪预训练，JDBM方法在最终测试准确率上仍优于标准的两阶段方法（RBMs + DBM）。
• 基于验证误差的早停策略提升了泛化能力，中心化技巧进一步增强了性能，表明优化稳定性至关重要。
• JDBM准则能有效根据模型的判别能力进行排序，表现为尽管训练错误率更高，但测试准确率仍得到提升。