[论文解读] Content-Based Image Retrieval Using Multiresolution Analysis Of Shape-Based Classified Images

Ibrahim Elhenawy, Kareem Ahmed|arXiv (Cornell University)|Oct 8, 2016

Image Retrieval and Classification Techniques被引用 3

一句话总结

本文提出了一种新颖的内容基图像检索（CBIR）系统，通过二维离散小波变换（DWT）和形状骨架化，结合颜色、纹理和形状特征进行多分辨率分析。通过提取RGB通道、DWT子带和骨架形状的特征向量，并将其存储在MySQL数据库中，该系统在10,000张图像的数据集上实现了96.4%的平均正确检索率，且查询响应时间高效。

ABSTRACT

Content-Based Image Retrieval (CBIR) systems have been widely used for a wide range of applications such as Art collections, Crime prevention and Intellectual property. In this paper, a novel CBIR system, which utilizes visual contents (color, texture and shape) of an image to retrieve images, is proposed. The proposed system builds three feature vectors and stores them into MySQL database. The first feature vector uses descriptive statistics to describe the distribution of data in each channel of RGB channels of the image. The second feature vector describes the texture using eigenvalues of the 39 sub-bands that are generated after applying four levels 2D DWT in each channel (red, green and blue channels) of the image. These wavelets sub-bands perfectly describes the horizontal, vertical and diagonal edges that exist in the multi-resolution analysis of the image. The third feature vector describes the basic shapes that exist in the skeletonization version of the black and white representation of the image. Experimental results on a private MYSQL database that consists of 10000 images, using color, texture, shape and stored relevance feedbacks, showed 96.4% average correct retrieval rate in an efficient recovery time.

研究动机与目标

• 通过将颜色、纹理和形状等多种视觉特征整合到统一系统中，提升基于内容的图像检索准确率。
• 利用二维DWT的多分辨率分析方法，提取RGB通道中多个子带的详细纹理信息。
• 通过二值图像表示的骨架化方法，对图像中的主要形状进行分类与表征。
• 将提取的特征存储在关系型数据库（MySQL）中，以实现高效索引与快速检索。
• 通过相关性反馈和真实世界图像数据集，评估系统性能。

提出的方法

• 系统从每张图像的红色、绿色和蓝色通道中，使用描述性统计方法提取颜色特征。
• 对每个RGB通道应用四级二维离散小波变换（DWT），生成39个子带，以捕捉水平、垂直和对角线边缘信息。
• 计算39个DWT子带的特征值，以在多分辨率框架下表示纹理特征。
• 将图像转换为二值图像，进行骨架化处理，并检测主要形状，将其编码为基于形状的特征向量。
• 将三种独立的特征向量——颜色、纹理和形状——进行组合，并存储在MySQL数据库中，用于索引与检索。
• 引入相关性反馈机制，以迭代方式优化检索结果。

实验结果

研究问题

• RQ1 通过二维DWT实现的多分辨率纹理表示是否能提升CBIR系统中的纹理区分能力？
• RQ2 形状骨架化在图像检索中是否能有效捕捉并表征主要形状？
• RQ3 在大规模图像数据库中，结合颜色、纹理和形状特征对检索准确率有何影响？
• RQ4 在该基于特征的系统中，相关性反馈的集成如何影响检索性能？
• RQ5 关系型数据库能否高效存储和检索复杂视觉特征向量，以支持实时CBIR应用？

主要发现

• 所提出的CBIR系统在10,000张图像的私有数据库上实现了96.4%的平均正确检索率。
• 颜色、纹理和形状特征的集成显著提升了检索准确率，相较于单一特征方法有明显优势。
• 多分辨率DWT分析有效捕捉了每个RGB通道中多尺度的边缘与纹理特征。
• 通过骨架化实现的形状表征，能够稳健识别图像中的基本几何形态。
• 系统表现出高效的恢复时间，表明其可扩展至大规模图像集合。
• 引入相关性反馈进一步提升了检索精度，通过用户反馈迭代优化查询结果。