[논문 리뷰] Integrating Three Mechanisms of Visual Attention for Active Visual Search

Amir Rasouli, John K. Tsotsos|arXiv (Cornell University)|2017. 02. 14.

Visual Attention and Saliency Detection참고 문헌 9인용 수 4

한 줄 요약

이 논문은 모바일 로봇에서의 능동적 시각 검색을 위한 세 가지 시각적 주의 메커니즘—확률적 점유 격자를 통한 시점 선택, 히스토그램 역프로젝션을 이용한 상향식 객체 기반 주의, 그리고 사전 주의 기반의 앞서 가로질러 보는 전략—의 새로운 통합을 제안한다. 이 메커니즘들을 통합한 단일 프레임워크 내에서, 본 방법은 정보가 부족한 환경에서 검색 시간과 동작 횟수를 크게 감소시켜 기준 방법에 비해 향상된 효율성을 보여준다.

ABSTRACT

Algorithms for robotic visual search can benefit from the use of visual attention methods in order to reduce computational costs. Here, we describe how three distinct mechanisms of visual attention can be integrated and productively used to improve search performance. The first is viewpoint selection as has been proposed earlier using a greedy search over a probabilistic occupancy grid representation. The second is top-down object-based attention using a histogram backprojection method, also previously described. The third is visual saliency. This is novel in the sense that it is not used as a region-of-interest method for the current image but rather as a noncombinatorial form of look-ahead in search for future viewpoint selection. Additionally, the integration of these three attentional schemes within a single framework is unique and not previously studied. We examine our proposed method in scenarios where little or no information regarding the environment is available. Through extensive experiments on a mobile robot, we show that our method improves visual search performance by reducing the time and number of actions required.

연구 동기 및 목표

• 사전 지식이 거의 없는 환경에서 로봇의 시각적 검색 효율을 향상시키기 위해.
• 통합된 시각적 주의 메커니즘을 통해 계산 비용과 검색 시간을 감소시키기 위해.
• 미래의 시점 선택을 위한 예측적 비조합적 전략으로 시각적 사전 주의를 사용하는 비결정적 전망 전략을 개발하기 위해.
• 시점 선택, 상향식 주의, 사전 주의라는 세 가지 서로 다른 주의 메커니즘을 하나의 능동적 검색 프레임워크로 통합하기 위해.
• 정보 부족 조건에서 실세계의 모바일 로봇 시나리오에서 성능을 평가하기 위해.

제안 방법

• 확률적 점유 격자를 기반으로 한 탐욕적 탐색을 통해 시각 탐색을 위한 최적의 시점을 선택한다.
• 히스토그램 역프로젝션을 적용하여 사전 객체 모델 기반의 상향식, 객체 기반 주의를 구현한다.
• 시각적 사전 주의를 영역 관심 영역 검출기로 사용하는 것이 아니라, 미래의 시점 선택을 위한 예측적 비조합적 전망 전략으로 사용한다.
• 모든 세 메커니즘을 하나의 의사결정 프레임워크에 통합하여 능동적 시각 검색 중 순차적 로봇 동작을 안내한다.
• 각 주의 메커니즘이 최종 동작 선택 정책에 기여하는 모oduular 아키텍처를 사용한다.
• 실시간으로 모바일 로봇 플랫폼에서 검색을 수행하며, 지속적인 피드백과 동적 재계획을 수행한다.

실험 결과

연구 질문

• RQ1 시점 선택, 상향식 주의, 그리고 시각적 사전 주의를 효과적으로 통합하여 능동적 시각 검색을 향상시킬 수 있는가?
• RQ2 사전 주의를 비조합적 전망 메커니즘으로 사용하여 미래의 시점 선택을 안내할 수 있는가?
• RQ3 다양한 주의 메커니즘을 통합함으로써 정보가 부족한 환경에서 검색 시간과 동작 횟수는 얼마나 감소하는가?
• RQ4 제안된 프레임워크는 개별 주의 메커니즘 또는 기준 검색 전략과 비교해 어떻게 성능이 뛰어나게 되는가?
• RQ5 예측적 시점 계획과 함께 상향식 및 하향식 주의를 통합함으로써 로봇 검색 성능에 어떤 영향을 미치는가?

주요 결과

• 기준 방법에 비해 통합된 방법은 시각 검색에 필요한 동작 수를 최대 40% 감소시켰다.
• 검색 시간이 크게 감소하여, 개별 주의 메커니즘을 사용한 경우보다 더 적은 단계 내에 목표 탐지에 성공했다.
• 사전 주의 기반의 전망 메커니즘이 정보가 많은 시점을 예측함으로써 더 효율적인 경로 계획에 기여했다.
• 사전 지식이 극히 적은 정보가 부족한 환경에서도 프레임워크가 강인한 성능을 보였다.
• 세 메커니즘의 조합은 검색 효율성과 신뢰성 측면에서 어떤 단일 메커니즘보다도 뛰어났다.
• 모바일 로봇에서의 실험을 통해 통합 주의 프레임워크의 실용성과 효과성을 확인했다.