[论文解读] Looking out of the window: object localization by joint analysis of all windows in the image.

Alexander Vezhnevets, Vittorio Ferrari|arXiv (Cornell University)|Jan 6, 2015

Advanced Image and Video Retrieval Techniques参考文献 30被引用 5

一句话总结

该论文提出了一种用于目标定位的联合窗口分析方法，该方法并非孤立地对候选图像窗口进行评分，而是基于整个图像中窗口之间的外观相似性和空间关系进行评分。通过使用结构化输出回归优化结构化评分函数，该方法在ImageNet上的表现显著优于当前最先进的窗口独立方法。

ABSTRACT

Traditionally, object localization is cast as an image window classification problem, where each window is considered independently and scored based on its appearance alone. Instead, we propose a method which scores each candidate window in the context of all other windows in the image, taking into account their similarity in appearance space as well as their spatial relations in the image plane. We devise a fast and exact procedure to optimize our score function over all candidate windows in an image, and we learn its parameters using structured output regression. We demonstrate on 92000 images from ImageNet that this significantly improves localization over some of the best recent techniques that score windows in isolation.

研究动机与目标

• 解决传统目标定位方法在孤立评分图像窗口时，未考虑窗口间关系的局限性。
• 通过建模图像中所有候选窗口之间的外观相似性和空间关系，提升定位准确率。
• 为图像中所有窗口的联合评分函数设计高效的优化过程。
• 使用结构化输出回归学习评分函数的参数，使预测结果更好地与真实目标位置对齐。

提出的方法

• 将每个图像窗口建模为候选目标提议，并使用深度特征计算其外观表征。
• 定义一个联合评分函数，综合考虑图像中所有窗口对之间的基于外观的相似性与空间接近度。
• 使用一种快速且精确的推理过程，对所有候选窗口优化评分函数，避免近似计算。
• 通过结构化输出回归学习评分函数的参数，模型从图像特征中预测结构化输出（目标位置）。
• 采用结构化预测框架，确保最终的定位输出与外观和空间上下文保持一致。

实验结果

研究问题

• RQ1 建模窗口间关系是否能超越窗口独立评分，在目标定位上实现进一步提升？
• RQ2 对所有窗口联合分析外观和空间上下文，如何影响定位准确率？
• RQ3 能否为大图像中的联合窗口评分设计一种精确且高效的优化过程？
• RQ4 与标准回归相比，结构化输出学习是否能实现与真实目标位置更好的对齐？

主要发现

• 所提出的方法在显著优于当前最先进的窗口独立评分技术方面，实现了目标定位准确率的大幅提升。
• 对外观相似性和空间关系的联合建模，使目标定位预测更加连贯且准确。
• 精确的优化过程实现了对所有候选窗口的高效推理，且无近似误差。
• 结构化输出回归有效学习了联合评分函数的参数，使在ImageNet上的预测结果与真实目标位置对齐得更好。