[论文解读] Local Color Contrastive Descriptor for Image Classification

Sheng Guo, Weilin Huang+1 more|arXiv (Cornell University)|Aug 3, 2015

Advanced Image and Video Retrieval Techniques参考文献 38被引用 3

一句话总结

本文提出了一种新型局部图像描述符——局部色彩对比描述符（LCCD），通过在多通道颜色空间中利用相邻区域间颜色分布的f-散度，将色彩对比信息整合到SIFT中，从而增强其性能。LCCD显著提升了SIFT的性能，在PASCAL VOC 2007上实现了65.80%的最先进准确率，并将DeCAF在SUN397上的准确率从40.94%提升至49.68%。

ABSTRACT

Image representation and classification are two fundamental tasks towards multimedia content retrieval and understanding. The idea that shape and texture information (e.g. edge or orientation) are the key features for visual representation is ingrained and dominated in current multimedia and computer vision communities. A number of low-level features have been proposed by computing local gradients (e.g. SIFT, LBP and HOG), and have achieved great successes on numerous multimedia applications. In this paper, we present a simple yet efficient local descriptor for image classification, referred as Local Color Contrastive Descriptor (LCCD), by leveraging the neural mechanisms of color contrast. The idea originates from the observation in neural science that color and shape information are linked inextricably in visual cortical processing. The color contrast yields key information for visual color perception and provides strong linkage between color and shape. We propose a novel contrastive mechanism to compute the color contrast in both spatial location and multiple channels. The color contrast is computed by measuring \emph{f}-divergence between the color distributions of two regions. Our descriptor enriches local image representation with both color and contrast information. We verified experimentally that it can compensate strongly for the shape based descriptor (e.g. SIFT), while keeping computationally simple. Extensive experimental results on image classification show that our descriptor improves the performance of SIFT substantially by combinations, and achieves the state-of-the-art performance on three challenging benchmark datasets. It improves recent Deep Learning model (DeCAF) [1] largely from the accuracy of 40.94% to 49.68% in the large scale SUN397 database. Codes for the LCCD will be available.

研究动机与目标

• 为解决SIFT等仅依赖形状的描述符的局限性，通过引入鲁棒的色彩对比信息以改善图像表征。
• 开发一种方法，以对光度变化保持不变且对空间结构敏感的方式捕捉局部色彩对比。
• 证明源自视觉感知神经机制的色彩对比，可有效补充基于梯度的特征（如SIFT）。
• 通过将LCCD与SIFT结合，在基准图像分类数据集上实现最先进性能。
• 为局部图像表征提供一种计算高效但强大的替代方案，尤其适用于高层特征可能丢失局部细节的场景。

提出的方法

• 利用f-散度计算两个空间相邻图像区域之间的色彩对比，建模其颜色分布的统计差异。
• 在多个颜色通道（如RGB）上应用对比机制，以增强判别能力并提高对光照变化的鲁棒性。
• 使用局部空间邻域计算基于区域的色彩对比，保留空间局部性并降低对单像素操作的噪声敏感性。
• 通过特征拼接和Fisher向量（FV）编码，将LCCD描述符与SIFT结合，以提升分类性能。
• 采用显式建模相邻区域之间关系的对比机制，而非将颜色特征独立处理。
• 在标准基准上使用标准评估协议进行验证，包括PASCAL VOC 2007和SUN397，采用FV编码和交叉验证。

实验结果

研究问题

• RQ1 能否将源自生物视觉处理的色彩对比有效建模为局部图像描述符，以超越基于形状的特征？
• RQ2 与传统的颜色直方图或基于SIFT的颜色描述符相比，基于f-散度的色彩对比计算在鲁棒性和判别能力方面表现如何？
• RQ3 LCCD在多大程度上能与SIFT互补，以在多样且具有挑战性的数据集上提升图像分类准确率？
• RQ4 整合色彩对比信息是否有助于解决具有相似全局结构但局部色彩模式不同的场景类别之间的歧义？
• RQ5 一种简单且非深度学习的描述符（如LCCD）是否能在准确率和局部特征判别能力方面超越或显著增强近期的深度学习模型（如DeCAF）？

主要发现

• LCCD+SIFT在PASCAL VOC 2007基准上实现了65.80%的最先进准确率，较单独SIFT提升4%，并显著优于先前组合（如LCS+SIFT）的性能。
• 在SUN397数据集上，LCCD+SIFT将DeCAF的准确率从40.94%提升至49.68%，即使在先进深度学习模型面前也展现出强大的互补能力。
• LCCD在模糊类别（如“室外游泳池”和“旧货店”）中取得显著性能提升，这些类别中SIFT因全局结构相似而表现困难。
• 在“室外游泳池”类别中，分类准确率最高提升达30%；在“旧货店”类别中提升达20%，凸显其捕捉细微局部色彩差异的能力。
• LCCD优于现有增强色彩的描述符，如Color SIFT（mAP 42.00%）和LCS+SIFT（mAP 63.90%），证实其在建模空间与色度对比方面的优越性。
• 在视觉歧义性高的类别中，性能提升最为显著，此时局部色彩对比提供了SIFT无法捕捉的关键判别线索。