[论文解读] Active Object Localization in Visual Situations

Max H. Quinn, Anthony D. Rhodes+1 more|arXiv (Cornell University)|Jul 2, 2016

Visual Attention and Saliency Detection参考文献 56被引用 6

一句话总结

本文提出了一种主动目标定位方法，利用对视觉情境（如“遛狗”）的可调节概率模型，基于检测到的特征迭代优化目标提议。通过整合空间和语义关系的先验知识，并实时更新分布，该系统在一项新发布的、公开可用的情境特定图像数据集上实现了更优的定位精度，优于基线方法，在上下文感知的目标检测方面表现更优。

ABSTRACT

We describe a method for performing active localization of objects in instances of visual situations. A visual situation is an abstract concept---e.g., "a boxing match", "a birthday party", "walking the dog", "waiting for a bus"---whose image instantiations are linked more by their common spatial and semantic structure than by low-level visual similarity. Our system combines given and learned knowledge of the structure of a particular situation, and adapts that knowledge to a new situation instance as it actively searches for objects. More specifically, the system learns a set of probability distributions describing spatial and other relationships among relevant objects. The system uses those distributions to iteratively sample object proposals on a test image, but also continually uses information from those object proposals to adaptively modify the distributions based on what the system has detected. We test our approach's ability to efficiently localize objects, using a situation-specific image dataset created by our group. We compare the results with several baselines and variations on our method, and demonstrate the strong benefit of using situation knowledge and active context-driven localization. Finally, we contrast our method with several other approaches that use context as well as active search for object localization in images.

研究动机与目标

• 开发一种用于抽象视觉情境（如“遛狗”）中主动、上下文感知的目标定位方法。
• 将空间和语义关系的先验知识整合到动态概率模型中，使其在搜索过程中持续演化。
• 创建一个全新的、公开可用的情境特定图像数据集，包含人工标注的边界框以供评估。
• 证明主动、自适应定位相比静态或非上下文基线方法的优势。
• 将本方法与现有的主动定位和上下文感知检测方法进行对比。

提出的方法

• 系统使用对象在视觉情境中空间和语义关系上的学习概率分布（例如，“遛狗者牵着拴在狗上的牵引绳”）。
• 它利用这些分布作为位置先验，在测试图像上生成目标提议。
• 在推理过程中，系统主动采样提议，并根据检测到的对象更新概率分布，从而实现自适应优化。
• 该方法采用单变量和多变量正态分布来建模空间关系，未来计划扩展至核密度估计和高斯过程。
• 使用“理想分类器”对提议进行评分，但该框架设计为可后续集成学习的卷积神经网络特征，以实现真实场景部署。
• 系统使用显著性引导的先验来指导搜索，同时在计算成本与检测精度之间取得平衡。

实验结果

研究问题

• RQ1 一个能够动态自适应其视觉情境概率模型的系统，是否能在目标定位精度上优于静态或非自适应的基线方法？
• RQ2 当整合空间和语义结构的先验知识时，主动的、上下文驱动的目标提议生成在多大程度上是有效的？
• RQ3 在非典型视觉情境实例中，概念滑移（例如，将“人”替换为“狗”作为遛狗者）对定位性能有何影响？
• RQ4 与强化学习和基于RNN的主动定位方法相比，该系统在数据效率和推理成本方面表现如何？
• RQ5 可调节的概率模型在多大程度上能泛化于同一抽象情境的不同视觉实例？

主要发现

• 所提方法在定位视觉情境中的目标方面显著优于基线方法，尤其在低级视觉线索模糊的非典型实例中表现更优。
• 基于检测到的对象动态更新概率分布，相比固定先验，能实现更准确、更鲁棒的定位。
• 系统在一项新发布的、公开的“遛狗”图像数据集上表现出色，该数据集捕捉了广泛的视觉变化，同时保持了概念一致性。
• 实验表明，上下文感知的主动定位减少了对全面共现统计的依赖，并提升了检测效率。
• 该方法识别出关键关系（如“牵引绳”）缺失或误分类的失败案例，凸显了对概念滑移更灵活建模的必要性。
• 该方法在与符号类比生成架构（如Copycat）集成方面展现出潜力，有助于实现对视觉情境的更深层次概念理解。