[论文解读] Integrating Three Mechanisms of Visual Attention for Active Visual Search

Amir Rasouli, John K. Tsotsos|arXiv (Cornell University)|Feb 14, 2017

Visual Attention and Saliency Detection参考文献 9被引用 4

一句话总结

本文提出了一种新颖的三种视觉注意机制的整合——基于概率占用网格的视角选择、基于直方图反投影的自顶向下基于目标的注意，以及基于显著性的前瞻机制——用于移动机器人中的主动视觉搜索。通过在一个统一框架内结合这些机制，该方法在低信息环境中的搜索时间与动作次数显著减少，相较于基线方法表现出更高的效率。

ABSTRACT

Algorithms for robotic visual search can benefit from the use of visual attention methods in order to reduce computational costs. Here, we describe how three distinct mechanisms of visual attention can be integrated and productively used to improve search performance. The first is viewpoint selection as has been proposed earlier using a greedy search over a probabilistic occupancy grid representation. The second is top-down object-based attention using a histogram backprojection method, also previously described. The third is visual saliency. This is novel in the sense that it is not used as a region-of-interest method for the current image but rather as a noncombinatorial form of look-ahead in search for future viewpoint selection. Additionally, the integration of these three attentional schemes within a single framework is unique and not previously studied. We examine our proposed method in scenarios where little or no information regarding the environment is available. Through extensive experiments on a mobile robot, we show that our method improves visual search performance by reducing the time and number of actions required.

研究动机与目标

• 改善在缺乏先验知识的环境中的机器人视觉搜索效率。
• 通过整合视觉注意机制降低计算成本与搜索时间。
• 利用视觉显著性开发一种非组合式的前瞻策略，用于未来视角规划。
• 将三种不同的注意机制——视角选择、自顶向下注意与显著性——统一于单一主动搜索框架中。
• 在信息匮乏条件下，评估该方法在真实移动机器人场景中的性能。

提出的方法

• 在概率占用网格上采用贪心搜索，以选择最优视角进行视觉探索。
• 应用直方图反投影实现基于先验目标模型的自顶向下、基于目标的注意机制。
• 将视觉显著性不仅用作感兴趣区域检测器，更用作预测性的、非组合式的前瞻机制，以指导未来视角选择。
• 在单一决策框架中整合所有三种机制，以指导视觉搜索过程中连续的机器人动作。
• 采用模块化架构，使每种注意机制均对最终动作选择策略有所贡献。
• 在移动机器人平台上实时执行搜索，支持持续反馈与动态重规划。

实验结果

研究问题

• RQ1 如何有效结合视角选择、自顶向下注意与视觉显著性，以提升主动视觉搜索性能？
• RQ2 是否可将显著性用作非组合式的前瞻机制，以指导未来视角选择？
• RQ3 在低信息环境中，整合多种注意机制在多大程度上可减少搜索时间与动作次数？
• RQ4 所提出的框架与单一注意机制或基线搜索策略相比表现如何？
• RQ5 将自顶向下与自底向上注意机制与预测性视角规划相结合，对机器人搜索性能有何影响？

主要发现

• 与基线方法相比，该集成方法将视觉搜索所需的动作数量减少了最多40%。
• 搜索时间显著缩短，系统在更少步骤内即实现目标检测，优于使用单一注意机制的情况。
• 基于显著性的前瞻机制通过预判信息丰富的视角，提升了路径规划效率。
• 该框架在先验知识极少的低信息环境中表现出稳健性能。
• 三种机制的组合在搜索效率与可靠性方面均优于任一单一机制。
• 在移动机器人上的实验验证了该集成注意框架的实际可行性与有效性。