[论文解读] Content-Based Sub-Image Retrieval with Relevance Feedback

Jie Luo, Mário A. Nascimento|ArXiv.org|Apr 26, 2009

Image Retrieval and Classification Techniques参考文献 17被引用 3

一句话总结

本文提出了一种用于基于内容的子图像检索（CBsIR）的新颖相关性反馈方法，其目标是查找数据库中包含查询图像作为子区域的图像。通过将图像建模为重叠的瓦片，并基于用户反馈迭代重新加权瓦片惩罚，该方法在仅5轮迭代后即实现前20个结果中平均召回率稳定在70%的水平，每轮迭代耗时约2秒（在标准台式机上）。

ABSTRACT

The typical content-based image retrieval problem is to find images within a database that are similar to a given query image. This paper presents a solution to a different problem, namely that of content based sub-image retrieval, i.e., finding images from a database that contains another image. Note that this is different from finding a region in a (segmented) image that is similar to another image region given as a query. We present a technique for CBsIR that explores relevance feedback, i.e., the user's input on intermediary results, in order to improve retrieval efficiency. Upon modeling images as a set of overlapping and recursive tiles, we use a tile re-weighting scheme that assigns penalties to each tile of the database images and updates the tile penalties for all relevant images retrieved at each iteration using both the relevant and irrelevant images identified by the user. Each tile is modeled by means of its color content using a compact but very efficient method which can, indirectly, capture some notion of texture as well, despite the fact that only color information is maintained. Performance evaluation on a largely heterogeneous dataset of over 10,000 images shows that the system can achieve a stable average recall value of 70% within the top 20 retrieved (and presented) images after only 5 iterations, with each such iteration taking about 2 seconds on an off-the-shelf desktop computer.

研究动机与目标

• 为解决检索包含给定查询图像作为子区域的图像（而非检索与查询图像整体相似的图像）的挑战。
• 通过引入用户相关性反馈来提升子图像检索的检索效果，而该方法在现有文献中尚未得到充分探索。
• 开发一种可扩展且高效的系统，通过重叠瓦片建模图像，并基于用户提供的正样本和负样本动态调整相似性。
• 在包含超过10,000张图像的大型异构数据集上评估该方法，以证明其鲁棒性和性能。

提出的方法

• 将图像建模为一组重叠的、递归的瓦片，以在多尺度下捕捉空间和基于颜色的内容。
• 每个瓦片使用BIC（图像颜色袋）方法表示，该方法使用紧凑的颜色直方图来编码颜色内容，并间接捕捉纹理。
• 采用瓦片重加权机制，根据其相关性为瓦片分配惩罚；惩罚值通过用户对检索结果的反馈进行迭代更新。
• 通过使用相应惩罚值加权瓦片距离，系统优化图像相似性度量，使始终相关瓦片的重要性更高。
• 利用用户反馈识别相关和不相关的图像，并据此更新所有相关图像中的瓦片惩罚。
• 该过程为迭代式：每轮反馈后，系统基于更新后的相似性度量重新对数据库图像进行排序。

实验结果

研究问题

• RQ1 在基于内容的子图像检索（CBsIR）中，相关性反馈能否显著提升检索性能，其目标是查找包含查询图像作为子区域的图像？
• RQ2 基于用户反馈的瓦片重加权机制如何提升子图像检索的准确性和收敛速度？
• RQ3 在BIC表示中使用不同数量的量化颜色对检索性能和系统效率有何影响？
• RQ4 当处理具有复杂内容的大规模图像数据库时，系统如何保持效率和可扩展性？
• RQ5 用户反馈在多大程度上能够缩小低层次图像特征与高层次语义意图之间的差距？

主要发现

• 系统在仅5轮相关性反馈后，即可在前20个检索结果中实现稳定的70%平均召回率。
• 在BIC表示中使用16种量化颜色可将查询处理时间缩短至每轮约1秒（相比64种颜色的2.5秒），同时保持相近的检索效果。
• 16种颜色的方案学习速度较慢，但最终能达到相似的性能水平；而64种颜色的表示则具有更快的初始学习速度，但计算成本更高。
• 使用16种颜色时，元数据的存储成本仅为2.7 MB，约占图像数据库大小的20%，表明存储效率高。
• 在标准台式机上，系统每轮迭代的查询处理时间低于2秒，使其适用于交互式应用。
• 瓦片重加权机制通过惩罚不相关瓦片并强化相关瓦片，有效捕捉用户意图，在多轮迭代中显著提升排序准确性。