[论文解读] Attribute-Graph: A Graph based approach to Image Ranking

Nikita Prabhu, R. Venkatesh Babu|NOT FOUND REPOSITORY (Indian Institute of Science Bangalore)|Sep 22, 2015

Advanced Image and Video Retrieval Techniques参考文献 40被引用 8

一句话总结

本文提出 Attribute-Graph，一种基于图的图像表征方法，通过建模中层语义属性、物体拓扑结构和场景上下文，以提升语义图像排序性能。通过在边中编码局部物体特征、全局场景属性和空间关系，该方法在 rPascal 和 rImageNet 上实现了最先进性能，相较于先前方法，nDCG 提升了 5–12%。

ABSTRACT

We propose a novel image representation, termed Attribute-Graph, to rank images by their semantic similarity to a given query image. An Attribute-Graph is an undirected fully connected graph, incorporating both local and global image characteristics. The graph nodes characterise objects as well as the overall scene context using mid-level semantic attributes, while the edges capture the object topology. We demonstrate the effectiveness of Attribute-Graphs by applying them to the problem of image ranking. We benchmark the performance of our algorithm on the 'rPascal' and 'rImageNet' datasets, which we have created in order to evaluate the ranking performance on complex queries containing multiple objects. Our experimental evaluation shows that modelling images as Attribute-Graphs results in improved ranking performance over existing techniques.

研究动机与目标

• 解决现有图像检索方法因依赖低层特征或文本查询而无法捕捉语义相似性的局限性。
• 开发一种统一的图像表征，同时捕捉局部（物体）和全局（场景上下文）的语义特征，包括物体间的关系。
• 提升涉及多个物体和空间配置的复杂查询的图像排序性能。
• 在新构建的基准数据集 rPascal 和 rImageNet 上评估所提方法，这些数据集专为语义图像排序而设计。

提出的方法

• 构建一个无向且完全连接的图，其中节点表示物体（带有形状、纹理、外观等局部属性）和全局场景（带有 gist、情绪、场景设置等全局属性）。
• 利用边编码物体之间的空间关系，包括相对位置、方向和结构布局，以捕捉拓扑上下文。
• 通过计算查询图像的 Attribute-Graph 与数据库图像的 Attribute-Graph 之间的图匹配，来衡量语义相似性并用于排序。
• 基于物体显著性和相关性为节点分配重要性权重，以增强相似性计算中的判别能力。
• 采用图核或匹配算法（由相似性计算隐含）以高效比较查询图与数据库图。
• 利用基于物体和属性的倒排索引，使系统可随数据库规模线性扩展，从而实现高效检索。

实验结果

研究问题

• RQ1 是否一种结合中层语义属性与空间关系的图基图像表征方法，能在语义图像排序中超越现有方法？
• RQ2 全局场景属性与物体级属性在复杂查询上的排序性能提升中分别起到何种作用？
• RQ3 与忽略空间布局的方法相比，通过图边建模物体拓扑结构在语义相似性度量上的增强程度如何？
• RQ4 与忽略场景上下文或物体关系的基线方法相比，该方法在真实世界复杂查询（含多个物体）上的表现如何？

主要发现

• 所提出的 Attribute-Graph 方法在 rPascal 数据集上相较 Cao 等人和 Douze 等人的方法，nDCG@k 提升了 5–8%。
• 在更复杂的 rImageNet 数据集上，该方法相较 Cao 等人提升 nDCG 9–11%，相较 Douze 等人提升 8%，表明其对查询复杂度具有鲁棒性。
• 消融实验表明，移除物体节点导致性能下降最大——rPascal 上下降 7%，rImageNet 上下降 12%，凸显其关键作用。
• 移除全局属性、边或节点重要性权重同样导致性能下降，证实各组件对整体排序准确性的贡献。
• 错误分析显示，误排序主要源于参考图像中的检测与分类错误，而非图匹配机制本身，这在假阳性样本中得到验证。
• 该方法可随数据库规模线性扩展，且通过在物体和属性上使用倒排索引，性能可进一步加速。