[论文解读] A Pooling Approach to Modelling Spatial Relations for Image Retrieval and Annotation

Mateusz Malinowski, Mario Fritz|arXiv (Cornell University)|Nov 19, 2014

Multimodal Machine Learning Applications参考文献 32被引用 25

一句话总结

该论文提出了一种基于可学习池化的框架，通过空间模板建模图像中的空间关系，从数据中学习空间表征，从而提升图像检索与标注性能。通过将空间推理整合到深度学习架构中，该方法在两个数据集上实现了最先进性能，图像检索和标注任务的R@10分别提升了1.4和2.0。

ABSTRACT

Over the last two decades we have witnessed strong progress on modeling visual object classes, scenes and attributes that have significantly contributed to automated image understanding. On the other hand, surprisingly little progress has been made on incorporating a spatial representation and reasoning in the inference process. In this work, we propose a pooling interpretation of spatial relations and show how it improves image retrieval and annotations tasks involving spatial language. Due to the complexity of the spatial language, we argue for a learning-based approach that acquires a representation of spatial relations by learning parameters of the pooling operator. We show improvements on previous work on two datasets and two different tasks as well as provide additional insights on a new dataset with an explicit focus on spatial relations.

研究动机与目标

• 解决现代图像检索与标注系统中缺乏空间推理的问题。
• 开发一种数据驱动的、可学习的方法，用于建模图像中的指示性空间关系。
• 通过引入空间上下文，改善语言与视觉片段之间的对齐。
• 分析人类标注与自动生成的空间查询之间的差异。
• 为基于深度学习的视觉系统提供一种可解释且高效的推理模块。

提出的方法

• 该方法使用空间模板建模空间关系，其中空间模板是围绕参考对象的可学习池化算子。
• 将空间关系表述为视觉特征上的池化操作，其中模板定义了空间关系的可接受区域。
• 通过边界框和形式为（对象，关系，对象）的空间语句，从数据中估计空间模板。
• 通过在嵌入空间中扩展来自池化区域的空间特征，将该方法与现有检索架构集成。
• 采用2×2 + 4×4的池化方案来表示空间概念，空间概念空间具有4个维度。
• 与原始模型联合训练可提升收敛速度与性能，空间特征在初始训练后添加。

实验结果

研究问题

• RQ1 基于可学习池化的空间表征是否能超越手工设计的空间特征，在图像检索与标注中实现性能提升？
• RQ2 从人类标注数据中学习的空间模板与从自动生成查询中学习的空间模板相比有何差异？
• RQ3 整合空间推理在多大程度上能增强文本片段与视觉检测结果之间的对齐？
• RQ4 所提出的空间模型是否在不同检索架构与数据集上具备泛化能力？
• RQ5 空间池化是否能提供更具可解释性且更有意义的语言与视觉对象之间的绑定？

主要发现

• 当添加到Deep Fragment Embeddings时，所提出的模型在图像检索和图像标注任务中分别将R@10提升了1.4和2.0分。
• 该模型在检索与标注基准测试中始终优于其他最先进方法。
• 人类标注的空间查询在空间概念分布上与自动生成的查询存在差异，凸显了合成数据的局限性。
• 可视化结果表明，该空间模型提升了文本片段与视觉检测结果之间的绑定质量，对齐更加清晰且可解释。
• 空间池化框架提升了可解释性，表现为彩色编码得分可视化清晰展示了正确的空间关联。
• 该方法具有鲁棒性与泛化能力，其性能在两个不同数据集与两种不同任务中均得到提升。