[论文解读] Scene Recognition by Combining Local and Global Image Descriptors

Jobin Wilson, Muhammad Arif|arXiv (Cornell University)|Feb 21, 2017

Advanced Image and Video Retrieval Techniques参考文献 3被引用 3

一句话总结

该论文提出了一种混合场景识别流程，结合了DAISY局部描述符和HOG全局描述符，采用两级池化策略，并使用小批量K-均值进行高效的词袋视觉编码。该方法在15类场景数据集上使用SVM分类器实现了76.4%的准确率，优于单独使用任一描述符类型的方法。

ABSTRACT

Object recognition is an important problem in computer vision, having diverse applications. In this work, we construct an end-to-end scene recognition pipeline consisting of feature extraction, encoding, pooling and classification. Our approach simultaneously utilize global feature descriptors as well as local feature descriptors from images, to form a hybrid feature descriptor corresponding to each image. We utilize DAISY features associated with key points within images as our local feature descriptor and histogram of oriented gradients (HOG) corresponding to an entire image as a global descriptor. We make use of a bag-of-visual-words encoding and apply Mini- Batch K-Means algorithm to reduce the complexity of our feature encoding scheme. A 2-level pooling procedure is used to combine DAISY and HOG features corresponding to each image. Finally, we experiment with a multi-class SVM classifier with several kernels, in a cross-validation setting, and tabulate our results on the fifteen scene categories dataset. The average accuracy of our model was 76.4% in the case of a 40%-60% random split of images into training and testing datasets respectively. The primary objective of this work is to clearly outline the practical implementation of a basic screne-recognition pipeline having a reasonable accuracy, in python, using open-source libraries. A full implementation of the proposed model is available in our github repository.

研究动机与目标

• 开发一种使用开源Python库实现的实用、端到端的场景识别流程，具备合理的准确率。
• 通过将局部（DAISY）和全局（HOG）图像描述符组合成混合特征描述符，提升分类性能。
• 通过使用小批量K-均值而非标准K-均值，降低特征编码的计算复杂度。
• 评估不同SVM核函数及其超参数对场景识别准确率的影响。
• 展示两级池化策略——对归一化的DAISY直方图和L2归一化的HOG特征进行拼接——在提升模型鲁棒性和准确率方面的有效性。

提出的方法

• 使用scikit-image库从关键点特征中提取DAISY描述符，用于局部图像表示。
• 使用可配置参数（pixels_per_cell、cells_per_block、orientations）从整个图像中提取全局HOG描述符。
• 通过在所有训练DAISY描述符上进行小批量K-均值聚类，构建视觉词汇表，以支持词袋视觉编码。
• 通过将每个DAISY描述符分配给其最近的聚类中心并统计出现次数，将每张图像编码为视觉词直方图（DAISY直方图）。
• 在拼接成混合特征向量之前，对DAISY直方图和HOG描述符分别进行L2归一化。
• 使用多种核函数（线性、RBF）和5折交叉验证，在混合特征上训练多分类SVM分类器。

实验结果

研究问题

• RQ1 与单独使用任一描述符类型相比，结合局部（DAISY）和全局（HOG）图像描述符对场景识别准确率有何影响？
• RQ2 在该混合框架中，词袋视觉表示的最优视觉词汇表大小（K）是多少？
• RQ3 不同的SVM核函数（线性与RBF）及其超参数（C、γ）对分类性能有何影响？
• RQ4 两级池化策略——对归一化的DAISY直方图和L2归一化的HOG特征进行拼接——在多大程度上提升了模型的鲁棒性和准确率？
• RQ5 与标准K-均值相比，使用小批量K-均值在大规模特征编码中如何显著减少计算时间？

主要发现

• 使用DAISY和HOG特征的混合模型在15类场景数据集上实现了76.4%的准确率，训练集与测试集比例为40%-60%。
• 仅使用HOG描述符的准确率为59.1%，表明其在处理尺度、方向和位移变化方面存在局限性。
• 仅使用DAISY描述符的准确率为70.8%，表明其在捕捉局部纹理和结构方面具有优势。
• 两种描述符的组合显著优于单一模型，显示出在特征表示方面具有互补优势。
• 小批量K-均值算法将编码时间从标准K-均值的数小时减少至约45秒（K=600，共190万个描述符）。
• 混淆矩阵显示，错误分类多涉及对人类观察者而言也存在视觉模糊性的场景，表明数据集本身具有固有的复杂性。