[논문 리뷰] Computational models: Bottom-up and top-down aspects

Laurent Itti, Ali Borji|arXiv (Cornell University)|2015. 10. 27.

Visual Attention and Saliency Detection참고 문헌 125인용 수 33

한 줄 요약

이 논문은 시각 주의의 계산 모델에 대한 종합적인 분석을 제시하며, 자극에 의해 유도되는(bottom-up, 자극 중심) 및 목표 지향적인(top-down, 목표 중심) 지도 메커니즘 간의 차이를 설명한다. 주의 지도 지도의 역할을 강조하며, 모델 평가를 위한 벤치마크 데이터셋을 검토하고, 인간과 기계의 주의 간 격차를 좁히기 위한 3D+시간 환경 이해가 핵심 과제임을 밝힌다.

ABSTRACT

Computational models of visual attention have become popular over the past decade, we believe primarily for two reasons: First, models make testable predictions that can be explored by experimentalists as well as theoreticians, second, models have practical and technological applications of interest to the applied science and engineering communities. In this chapter, we take a critical look at recent attention modeling efforts. We focus on {\em computational models of attention} as defined by Tsotsos \& Rothenstein \shortcite{Tsotsos_Rothenstein11}: Models which can process any visual stimulus (typically, an image or video clip), which can possibly also be given some task definition, and which make predictions that can be compared to human or animal behavioral or physiological responses elicited by the same stimulus and task. Thus, we here place less emphasis on abstract models, phenomenological models, purely data-driven fitting or extrapolation models, or models specifically designed for a single task or for a restricted class of stimuli. For theoretical models, we refer the reader to a number of previous reviews that address attention theories and models more generally \cite{Itti_Koch01nrn,Paletta_etal05,Frintrop_etal10,Rothenstein_Tsotsos08,Gottlieb_Balan10,Toet11,Borji_Itti12pami}.

연구 동기 및 목표

• 지도 메커니즘에 중점을 두고 시각 주의의 계산 모델을 비판적으로 평가하기 위해.
• 하향식(자극 중심)과 상향식(목표 중심) 주의 모델 간의 차이를 명확히 하기 위해.
• 눈 움직임 데이터를 모델 평가의 기준으로 사용할 때의 타당성과 한계를 평가하기 위해.
• 특히 복잡하고 동적인 환경에서 인간과 유사한 주의를 모델링하는 데 남아 있는 과제를 규명하기 위해.
• 인간과 기계의 주의 간 격차를 줄이기 위해 고도의 환경 이해(3D + 시간)가 필수적임을 강조하기 위해.

제안 방법

• 모든 시각 자극을 처리하고 인간 또는 동물의 행동/생리적 반응을 예측하는 시스템으로서 계산 주의 모델의 정의를 사용한다.
• 특징 기반 계산을 통해 이미지를 시각적 주목 지도의 공간적 지도로 변환하는 시각적 주목 지도 모델에 집중한다.
• 눈 움직임 기록이 포함된 벤치마크 데이터셋(예: Judd et al., 2009; Borji et al., 2012b)을 활용하여 모델의 정량적 비교를 수행한다.
• AUC, CC, NSS와 같은 지표를 사용하여 인간의 정렬 패턴과 비교해 모델 성능을 분석한다.
• 활성 시각 및 로봇 시스템을 통합하여 주목 지도가 스캔패스와 임무 중심의 사카다로 이어지는 방식을 모델링한다.
• 특히 임무 맥락에서 사카다 순서와 시간적 패턴의 시간적 동역학을 고려하여 모델이 스캔패스의 순서와 시간 예측 능력을 평가한다.

실험 결과

연구 질문

• RQ1 하향식 및 상향식 주의 메커니즘이 계산 구현 방식과 행동적 영향에서 어떻게 다를까?
• RQ2 시각적 주목 지도 모델은 정적 및 동적 시각 자극에서 인간의 눈 움직임을 어느 정도 정확히 예측할 수 있을까?
• RQ3 눈 움직임 데이터를 주의 모델 평가의 금표로 사용할 때의 한계는 무엇일까?
• RQ4 임무 맥락은 사카다의 순서와 시간에 어떤 영향을 미치며, 모델은 이를 포착할 수 있을까?
• RQ5 3D 환경 기하학과 시간적 사건 이해는 인간과 기계의 주의 성능 격차를 줄이는 데 어떤 역할을 할까?

주요 결과

• 하향식 모델, 특히 주목 지도 기반 모델은 임무 없고 자극 중심의 성격 덕분에 더 발전되어 있으며 검증이 더 용이하다.
• 주목 지도 모델은 벤치마크 데이터셋에서 뛰어난 성능을 보이며, 최신 기술 모델은 표준 데이터셋에서 AUC 점수 0.8 이상을 기록한다.
• 눈 움직임 기반 평가 지표(AUC, CC 등)는 잘 정립되어 있지만, 데이터셋의 특성에 기인한 편향이 존재하고, 암묵적 주의와 명시적 주의를 구분하지 못할 수 있다.
• 임무 맥락에서는 상향식 영향이 지배적이지만, 초기 환경 해석과 목표 위치 탐색에서는 하향식 처리가 여전히 필수적이다.
• 가장 중요한 나머지 격차는 3D 환경 기하학과 시간적 사건 이해를 모델링하는 데 있으며, 이는 복잡한 인간 행동(예: 샌드위치 만들기)을 시뮬레이션하는 데 필수적이다.
• 자유 시각 조건에서의 사카다 순서가 예측 가능성이 낮은 것과는 달리, 임무 중심 환경(예: 운전, 요리)에서는 순차적 스캔패스 모델링이 더 유의미하다.