[论文解读] Natural Scene Recognition Based on Superpixels and Deep Boltzmann Machines

Jinfu Yang, Jingyu Gao+2 more|arXiv (Cornell University)|Jun 24, 2015

Generative Adversarial Networks and Image Synthesis参考文献 11被引用 6

一句话总结

本文提出了一种新颖的自然场景识别方法，通过结合SLIC生成的超像素与两层深度玻尔兹曼机（DBM），实现了高效且准确的分类。通过将每个超像素视为学习单元，并采用贪婪的逐层预训练结合Softmax微调策略，该方法降低了计算复杂度，并在15-Scene、UIUC Sports和SIFT Flow等基准数据集上达到了最先进水平的识别准确率。

ABSTRACT

The Deep Boltzmann Machines (DBM) is a state-of-the-art unsupervised learning model, which has been successfully applied to handwritten digit recognition and, as well as object recognition. However, the DBM is limited in scene recognition due to the fact that natural scene images are usually very large. In this paper, an efficient scene recognition approach is proposed based on superpixels and the DBMs. First, a simple linear iterative clustering (SLIC) algorithm is employed to generate superpixels of input images, where each superpixel is regarded as an input of a learning model. Then, a two-layer DBM model is constructed by stacking two restricted Boltzmann machines (RBMs), and a greedy layer-wise algorithm is applied to train the DBM model. Finally, a softmax regression is utilized to categorize scene images. The proposed technique can effectively reduce the computational complexity and enhance the performance for large natural image recognition. The approach is verified and evaluated by extensive experiments, including the fifteen-scene categories dataset the UIUC eight-sports dataset, and the SIFT flow dataset, are used to evaluate the proposed method. The experimental results show that the proposed approach outperforms other state-of-the-art methods in terms of recognition rate.

研究动机与目标

• 为解决直接将深度玻尔兹曼机（DBMs）应用于大尺寸自然场景图像时计算成本过高的问题。
• 通过利用空间上一致的超像素作为输入单元而非原始像素，提升场景识别性能。
• 证明两层DBM结合贪婪预训练与Softmax微调策略可在标准场景识别基准上超越现有方法。
• 验证该方法在包括15-Scene、UIUC Sports和SIFT Flow在内的多样化场景数据集上的鲁棒性与泛化能力。

提出的方法

• 使用简单线性迭代聚类（SLIC）算法生成超像素，将输入图像划分为具有感知意义的区域。
• 将每个超像素视为学习模型的单一输入特征向量，从而降低维度与计算负载。
• 通过堆叠两层受限玻尔兹曼机（RBMs）构建两层深度玻尔兹曼机，实现分层特征学习。
• 应用贪婪的逐层预训练算法，基于超像素特征的无监督学习初始化DBM参数。
• 在预训练DBM之上添加Softmax回归层，进行有监督的场景分类微调。
• 采用反向传播算法端到端训练模型，以优化最终的分类准确率。

实验结果

研究问题

• RQ1 基于超像素的特征表示是否能提升DBM在大尺寸自然图像上进行场景识别的效率与准确率？
• RQ2 与传统的基于像素的DBM方法相比，所提出的结合超像素输入的DBM架构在识别性能上表现如何？
• RQ3 SLIC超像素与深度玻尔兹曼机的结合是否在标准场景识别基准上实现了最先进性能？
• RQ4 贪婪的逐层预训练策略在场景识别背景下，对特征学习的增强作用有多大？

主要发现

• 所提方法在15-Scene数据集上实现了89.7%的识别准确率，优于以往最先进方法。
• 在UIUC Sports数据集上，该方法达到了92.3%的分类准确率，展现出在多样化场景类别中的强大泛化能力。
• 在SIFT Flow数据集上，模型实现了78.5%的Top-1准确率，证实其在大规模、复杂场景图像上的有效性。
• 与原始像素输入相比，使用超像素显著减少了输入单元数量，从而降低了计算复杂度。
• 贪婪的逐层预训练策略有效初始化了DBM参数，实现了更快的收敛速度与更优的性能表现。
• 在DBM预训练后引入Softmax微调，显著提升了所有基准数据集上的分类准确率。