[论文解读] Automatic Feature Weight Determination using Indexing and Pseudo-Relevance Feedback for Multi-feature Content-Based Image Retrieval

Asheet Kumar, Shivam Choudhary+3 more|arXiv (Cornell University)|Dec 10, 2018

Image Retrieval and Classification Techniques被引用 4

一句话总结

该论文提出了一种新颖的多特征内容基图像检索（CBIR）框架，通过索引和伪相关反馈自动确定最优特征权重。通过结合颜色、纹理和形状描述符（CDH、LBP、CLD、EOH）与基于多类SVM的索引及相关比率/均值差异技术，该方法将搜索空间减少了81.25%，并实现了更高的检索准确率，其中组合特征方法在使用Canberra距离的Dataset D3上取得了最高的AUC（0.951）。

ABSTRACT

Content-based image retrieval (CBIR) is one of the most active research areas in multimedia information retrieval. Given a query image, the task is to search relevant images in a repository. Low level features like color, texture, and shape feature vectors of an image are always considered to be an important attribute in CBIR system. Thus the performance of the CBIR system can be enhanced by combining these feature vectors. In this paper, we propose a novel CBIR framework by applying to index using multiclass SVM and finding the appropriate weights of the individual features automatically using the relevance ratio and mean difference. We have taken four feature descriptors to represent color, texture and shape features. During retrieval, feature vectors of query image are combined, weighted and compared with feature vectors of images in the database to rank order the results. Experiments were performed on four benchmark datasets and performance is compared with existing techniques to validate the superiority of our proposed framework.

研究动机与目标

• 解决在无需标注训练数据的情况下，多特征CBIR中最优特征权重分配的挑战。
• 通过利用图像索引限制搜索空间，降低大规模图像检索中的计算成本。
• 通过自动识别每个查询图像最相关的特征描述符，提升检索准确率。
• 开发一种结合多种低级特征（颜色、纹理、形状）与动态加权的框架，以增强检索性能。
• 在多个基准数据集上验证所提方法，并与最先进技术进行对比。

提出的方法

• 采用多类支持向量机（SVM）进行图像索引，以预测最相关的前3类图像，将搜索空间减少81.25%。
• 使用四种特征描述符：颜色差异直方图（CDH）、局部二值模式（LBP）、共现局部描述符（CLD）和边缘方向直方图（EOH），分别用于颜色、纹理和形状的表征。
• 应用相关比率和均值差异技术，基于其在精确率-召回率曲线中的表现，自动计算各特征的最优权重。
• 利用距离度量（Canberra、卡方、欧几里得）组合加权特征向量，对数据库中的图像进行排序。
• 通过选择排名靠前的图像作为伪相关样本，利用伪相关反馈迭代优化特征权重分配。
• 使用各特征描述符的精确率-召回率曲线下面积（AUC）对初始权重进行归一化，以确保初始化的平衡性。

实验结果

研究问题

• RQ1 在无需标注训练数据的情况下，如何在多特征CBIR系统中自动确定特征权重？
• RQ2 使用多类SVM进行图像索引，在大规模CBIR系统中能在多大程度上减少搜索空间？
• RQ3 在不同数据集上，哪种特征描述符组合（CDH、LBP、CLD、EOH）能实现最高的检索准确率？
• RQ4 与等权重或固定权重策略相比，所提出的自动权重分配方法在精确率和召回率方面表现如何？
• RQ5 相关比率与均值差异技术能否有效识别给定查询图像中最具区分性的特征描述符？

主要发现

• 所提方法通过基于多类SVM的图像索引，将搜索空间减少了81.25%，显著提升了检索效率。
• 在使用Canberra距离的Dataset D3上，采用自动分配权重的组合特征描述符实现了最高的精确率-召回率曲线下面积（AUC = 0.951）。
• 在Dataset D1上，颜色差异直方图（CDH）单独使用时取得了最高的个体AUC（0.97），但组合方法在所有数据集上均优于所有单一特征。
• 基于相关比率的权重分配技术相比等权重或固定权重策略，始终提升了检索准确率，其中Canberra距离下表现最佳。
• 该方法成功识别出每个查询图像最相关的特征描述符，其中在Dataset D2和D3上CLD获得最高权重，而在D1上CDH占主导地位。
• 平均而言，组合特征方法相比所有数据集和距离度量下表现最佳的单一特征，AUC提升了8.5%。