[论文解读] Conditional Restricted Boltzmann Machines for Structured Output Prediction

Volodymyr Mnih, Hugo Larochelle+1 more|arXiv (Cornell University)|Feb 14, 2012

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 96

一句话总结

本文提出了一种针对结构化输出预测的新型条件受限玻尔兹曼机（CRBM）学习算法，解决了标准对比发散法的局限性。该方法针对不同结构化输出场景——低变异性（如多标签分类）和高变异性（如图像去噪）——提出了两种独立的训练策略，在两类问题上均显著优于传统方法。

ABSTRACT

Conditional Restricted Boltzmann Machines (CRBMs) are rich probabilistic models that have recently been applied to a wide range of problems, including collaborative filtering, classification, and modeling motion capture data. While much progress has been made in training non-conditional RBMs, these algorithms are not applicable to conditional models and there has been almost no work on training and generating predictions from conditional RBMs for structured output problems. We first argue that standard Contrastive Divergence-based learning may not be suitable for training CRBMs. We then identify two distinct types of structured output prediction problems and propose an improved learning algorithm for each. The first problem type is one where the output space has arbitrary structure but the set of likely output configurations is relatively small, such as in multi-label classification. The second problem is one where the output space is arbitrarily structured but where the output space variability is much greater, such as in image denoising or pixel labeling. We show that the new learning algorithms can work much better than Contrastive Divergence on both types of problems.

研究动机与目标

• 解决条件受限玻尔兹曼机（CRBM）在结构化输出预测中缺乏有效训练方法的问题。
• 识别并建模两类不同的结构化输出问题：一类是可能配置数量有限的问题，另一类是输出空间变异性高的问题。
• 为每类问题类型开发专用学习算法，以克服标准对比发散法的局限性。
• 证明所提方法在真实世界结构化预测任务中优于现有方法。

提出的方法

• 提出一种改进的CRBM学习算法，避免标准对比发散法在条件模型中引入的偏差。
• 提出第一种学习方法，专为具有少量可能配置的结构化输出设计，如多标签分类。
• 开发第二种学习算法，专为高变异性结构化输出设计，如像素标记或图像去噪。
• 采用类似对比发散的方法，但进行了调整以更好地捕捉结构化输出中的条件依赖关系。
• 采用基于采样的梯度近似方法，同时考虑两类问题中输出空间的结构特性。
• 将所提算法应用于CRBM在结构化预测任务中的训练，结合高效的推理与学习流程。

实验结果

研究问题

• RQ1 标准对比发散法能否有效用于CRBM在结构化输出预测中的训练？
• RQ2 如何调整CRBM训练方法以处理具有少量可能配置的结构化输出？
• RQ3 何种学习策略可实现对高变异性结构化输出的有效CRBM训练？
• RQ4 所提方法是否在低变异性与高变异性结构化预测任务中均优于对比发散法？

主要发现

• 所提学习算法在两类结构化输出预测问题中均显著优于标准对比发散法。
• 在多标签分类等低变异性任务中，新方法因更准确地建模条件依赖关系，实现了更高的预测准确率。
• 在图像去噪与像素标记等高变异性任务中，改进算法泛化能力更强，收敛更稳定。
• 该方法在多种结构化输出任务中表现出鲁棒性，证实了根据输出结构定制学习算法的重要性。