[论文解读] Describing Colors, Textures and Shapes for Content Based Image Retrieval - A Survey

Jamil Ahmad, Muhammad Sajjad+3 more|arXiv (Cornell University)|Feb 25, 2015

Image Retrieval and Classification Techniques参考文献 43被引用 13

一句话总结

本综述对过去十年中用于基于内容的图像检索（CBIR）的低层次视觉特征——颜色、纹理和形状——进行了全面分析，评估了其有效性、局限性及演变过程。该综述整合了最先进的描述符，比较了其性能，并指出了特征表示与检索准确率方面持续存在的挑战。

ABSTRACT

Visual media has always been the most enjoyed way of communication. From the advent of television to the modern day hand held computers, we have witnessed the exponential growth of images around us. Undoubtedly it's a fact that they carry a lot of information in them which needs be utilized in an effective manner. Hence intense need has been felt to efficiently index and store large image collections for effective and on- demand retrieval. For this purpose low-level features extracted from the image contents like color, texture and shape has been used. Content based image retrieval systems employing these features has proven very successful. Image retrieval has promising applications in numerous fields and hence has motivated researchers all over the world. New and improved ways to represent visual content are being developed each day. Tremendous amount of research has been carried out in the last decade. In this paper we will present a detailed overview of some of the powerful color, texture and shape descriptors for content based image retrieval. A comparative analysis will also be carried out for providing an insight into outstanding challenges in this field.

研究动机与目标

• 系统性回顾基于内容的图像检索（CBIR）中使用的颜色、纹理和形状描述符。
• 分析现有低层次视觉特征在图像索引与检索中的优势与局限性。
• 识别在不同图像数据集上特征表示与检索性能方面持续存在的挑战。
• 对描述符技术进行对比评估，以指导CBIR领域的未来研究。
• 突出显示在大规模图像检索中开发鲁棒视觉描述符过程中出现的新兴趋势与开放性问题。

提出的方法

• 对2004年至2014年间发表的关于颜色、纹理和形状描述符的同行评审研究进行系统性文献回顾。
• 根据其底层数学与统计模型（例如，基于直方图、小波、矩方法、Gabor滤波器）对描述符进行分类。
• 将描述符分类为颜色（例如，HSV、LUV、颜色矩）、纹理（例如，LBP、GLCM、Gabor）和形状（例如，傅里叶描述符、Zernike矩、基于曲率的方法）。
• 使用标准评估指标（如精确率、召回率和平均平均精度（mAP））对描述符性能进行对比分析。
• 识别在CBIR系统中选择描述符时的关键设计原则与权衡。
• 将研究发现整合为视觉特征表示当前能力与差距的结构化概览。

实验结果

研究问题

• RQ1 哪些颜色描述符在CBIR中最为有效，它们在鲁棒性与计算成本方面如何比较？
• RQ2 LBP和GLCM等纹理描述符在不同图像类别和光照条件下表现如何？
• RQ3 形状描述符在处理旋转、缩放和噪声方面的优势与局限性是什么？
• RQ4 在提升检索准确率方面，结合颜色、纹理和形状特征的主要挑战是什么？
• RQ5 过去十年中，描述符设计的进展如何演变？特征表示方面出现了哪些新兴趋势？

主要发现

• 由于简单且计算成本低，颜色描述符如颜色矩和基于直方图的方法仍被广泛使用。
• 局部二值模式（LBP）及其变体在纹理表示方面表现出色，尤其在光照变化条件下。
• Zernike矩和傅里叶描述符等形状描述符对旋转和缩放具有良好的不变性，但对噪声仍敏感，是主要挑战。
• 结合颜色、纹理和形状特征的混合描述符在检索准确率方面通常优于单一特征方法。
• 尽管已有进展，但在视角变化、遮挡和复杂背景下的鲁棒性仍面临挑战。
• 综述识别出向学习型与深度特征表示发展的趋势，尽管传统手工设计的描述符在特定应用中仍具相关性。