[论文解读] A Hybrid Approach for Improved Content-based Image Retrieval using Segmentation

Smarajit Bose, Amita Pal+3 more|arXiv (Cornell University)|Feb 11, 2015

Image Retrieval and Classification Techniques参考文献 13被引用 4

一句话总结

本文提出了一种混合式基于内容的图像检索（CBIR）系统，通过图像分割整合形状信息，并引入一种新颖的相关性反馈机制，增强了基于颜色的检索。通过结合分割提取的特征与动态特征重加权，以及相关集合的改进初始化，该方法显著提升了检索准确性，其中WS_comb初始化方案在多个数据库上的精确率、召回率和效率方面均优于传统方法。

ABSTRACT

The objective of Content-Based Image Retrieval (CBIR) methods is essentially to extract, from large (image) databases, a specified number of images similar in visual and semantic content to a so-called query image. To bridge the semantic gap that exists between the representation of an image by low-level features (namely, colour, shape, texture) and its high-level semantic content as perceived by humans, CBIR systems typically make use of the relevance feedback (RF) mechanism. RF iteratively incorporates user-given inputs regarding the relevance of retrieved images, to improve retrieval efficiency. One approach is to vary the weights of the features dynamically via feature reweighting. In this work, an attempt has been made to improve retrieval accuracy by enhancing a CBIR system based on color features alone, through implicit incorporation of shape information obtained through prior segmentation of the images. Novel schemes for feature reweighting as well as for initialization of the relevant set for improved relevance feedback, have also been proposed for boosting performance of RF- based CBIR. At the same time, new measures for evaluation of retrieval accuracy have been suggested, to overcome the limitations of existing measures in the RF context. Results of extensive experiments have been presented to illustrate the effectiveness of the proposed approaches.

研究动机与目标

• 弥合低层次图像特征与高层次人类感知之间的语义鸿沟，以实现基于内容的图像检索。
• 通过将图像分割获得的形状信息整合到基于颜色的CBIR系统中，提升检索准确性。
• 开发一种新型相关性反馈机制，结合优化的初始化与动态特征重加权，以实现更优性能。
• 提出新的评估指标，以克服传统精确率与召回率在相关性反馈情境下的局限性。
• 通过全面的实验评估，验证该混合方法在多样化图像数据库中的有效性。

提出的方法

• 系统对查询图像与数据库图像均进行分割，以提取区域特定特征，实现超越全局颜色特征的形状感知匹配。
• 采用混合检索策略，结合全局颜色特征与基于分割的特征，以改善相似性度量。
• 提出一种新型特征重加权方案，根据相关性反馈动态调整特征权重，突出最能区分相关与非相关图像的特征。
• 提出三种初始化方法——交集、并集与组合，以优化相关集合的初始设置，提升收敛速度与准确性。
• 采用基于实例的距离度量方法，考虑与相关图像的最小距离，提升特征空间中的搜索效率。
• 引入新的评估指标，以更准确评估相关性反馈场景下的检索性能，弥补标准精确率与召回率的不足。

实验结果

研究问题

• RQ1 将图像分割获得的形状信息整合到基于颜色的CBIR系统中，能否提升检索准确性？
• RQ2 与传统方法相比，所提出的相关集合初始化方案在相关性反馈中对检索性能有何影响？
• RQ3 基于分割增强特征的动态特征重加权，在CBIR系统中能在多大程度上提升精确率与召回率？
• RQ4 所提出的评估指标是否能比传统指标更准确、更可靠地评估相关性反馈性能？
• RQ5 在不同图像数据库中，哪种初始化与重加权策略的组合能实现最佳的整体检索效率与准确性？

主要发现

• 在DB2000上，所提出的WS_comb初始化方法实现了最高的检索效率（97.26%）与最低的误报率（35.71%），优于传统的WOS方法。
• 在DB2020上，WS_comb方法将最终迭代的精确率从WOS的49.07%提升至55.39%，召回率从9.64%提升至10.71%，表现出持续的性能提升。
• 与WOS相比，WS_inter与WS_comb方案在DB2000上分别将误报率降低了5.4%与14.7%，同时提升了检索效率。
• WS_comb方法在所有测试数据库中均实现了最佳的综合平衡，在精确率、召回率与效率方面均优于WOS及其他初始化变体。
• 所提出的评估指标揭示了更细致的性能趋势，尤其在早期反馈迭代中能更清晰地检测到性能改进，而传统指标常掩盖这些变化。
• 该混合方法通过有效结合颜色特征与分割生成的形状特征，显著缩小了语义鸿沟，从而产生更具语义相关性的检索结果。