[논문 리뷰] CAT2000: A Large Scale Fixation Dataset for Boosting Saliency Research

Ali Borji, Laurent Itti|arXiv (Cornell University)|2015. 05. 14.

Visual Attention and Saliency Detection참고 문헌 9인용 수 218

한 줄 요약

이 논문은 120명의 관찰자로부터 고정밀 눈동작 측정을 통해 확보한 4,000장의 이미지로 구성된 대규모 고정점 데이터셋 CAT2000을 소개한다. 이 데이터셋은 다양한 자극—예를 들어 무작위, 뒤섞인, 사회적 장면 등—을 포함하여 이전의 주목성 벤치마크에서 나타나는 편향을 해소한다. 이는 중심 편향이나 저변동성 자극에만 국한된 모델 평가를 넘어서 복잡하고 의미가 풍부하거나 중심 편향이 없는 카테고리에서 기존 모델의 성능 격차를 드러낸다.

ABSTRACT

Saliency modeling has been an active research area in computer vision for about two decades. Existing state of the art models perform very well in predicting where people look in natural scenes. There is, however, the risk that these models may have been overfitting themselves to available small scale biased datasets, thus trapping the progress in a local minimum. To gain a deeper insight regarding current issues in saliency modeling and to better gauge progress, we recorded eye movements of 120 observers while they freely viewed a large number of naturalistic and artificial images. Our stimuli includes 4000 images; 200 from each of 20 categories covering different types of scenes such as Cartoons, Art, Objects, Low resolution images, Indoor, Outdoor, Jumbled, Random, and Line drawings. We analyze some basic properties of this dataset and compare some successful models. We believe that our dataset opens new challenges for the next generation of saliency models and helps conduct behavioral studies on bottom-up visual attention.

연구 동기 및 목표

• 소규모이고 편향된 고정점 데이터셋과 제한된 자극 다양성으로 인한 주목성 모델의 과적합 위험을 해소하기 위해.
• 중심 편향을 줄이기 위해, 뒤섞인, 의미가 풍부하고 인위적인 이미지 카테고리(예: 뒤섞인, 무작위, 사회적 장면 등)를 포함시켜 벤치마크를 개선하기 위해.
• 강건한 주목성 모델 평가 및 바닥에서부터의 주목과 정상적인 주목의 주의 연구를 지원하기 위해 대규모이고 고품질의 눈동작 추적 데이터셋을 제공하기 위해.
• 모델이 실제 운영 환경을 시뮬레이션하기 위해, 관찰자가 볼 수 있었던 이미지와 볼 수 없었던 이미지 모두에서 고정점을 평가할 수 있도록 훈련 및 테스트 프로토콜을 제공하기 위해.
• 기존의 저수준 특징을 넘어서 의미, 상위 수준의 주의 및 비시각적 주의 자극을 고려한 차세대 주목성 모델 개발을 촉진하기 위해.

제안 방법

• Eyelink-1000 눈동작 측정기와 5점 校정을 사용해 120명의 관찰자로부터 눈동작 데이터를 확보하여 높은 시간적·공간적 정확도를 확보하였다.
• 자연적 풍경, 만화, 선도, 프랙탈, 노이즈, 저해상도, 무작위 시점 이미지 등 총 20개 카테고리에 걸쳐 4,000장의 이미지를 확보하여 다양성을 확보하였다.
• 검색 엔진과 수집된 데이터셋(Caltech256, SUN, Eitz 등)을 활용한 제어된 이미지 확보 및 이미지 분할의 랜덤 셔플링을 통해 뒤섞인 이미지를 제작하였다.
• 속도(>35°/s) 및 가속도(>9500°/s²) 임계값을 사용한 표준화된 사카다 탐지 기법을 적용하여 일관된 고정점 레이블링을 확보하였다.
• 모델 평가를 위해 훈련 세트(카테고리당 100장, 18명의 관찰자)와 테스트 세트(카테고리당 100장, 모든 24명의 관찰자의 고정점 자료가 제거됨)로 데이터셋을 분할하였다.
• 고정점 예측 정확도를 평가하기 위해 표준 지표인 정규화된 스캔패스 주목성(NSS)을 사용하였으며, 카테고리 및 관찰자 간 평균을 취하였다.

실험 결과

연구 질문

• RQ1 다양한 자극 카테고리(예: 바닥에서부터의 주의 vs. 정상적인 주의)에서 모델 성능가 어떻게 달라지는가?
• RQ2 현재의 주목성 모델은 사회적 장면이나 뒤섞인 이미지와 같이 중심 편향이 없거나 의미적으로 복잡한 자극에 얼마나 일반화되는가?
• RQ3 다양한 이미지 카테고리 간 고정점 패턴의 관찰자 간 일관성은 어떻게 되며, 이는 모델 성능과 어떤 관련이 있는가?
• RQ4 중심 편향과 이미지 콘텐츠 분포는 기존 벤치마크에서 주목성 모델 평가의 신뢰성에 어떤 영향을 미치는가?
• RQ5 대규모이고 다양한 자료를 포함한 데이터셋은 기존의 편향된 데이터셋에서의 최첨단 성능을 넘어서 과적합을 줄이고 일반화 능력을 향상시킬 수 있는가?

주요 결과

• 스케치 및 물체 카테고리에서는 높은 성능를 기록했으나(스케치 카테고리에서 NSS 기준 1위), 선도, 뒤섞인, 사회적, 위성 이미지에서는 상당히 낮은 점수를 기록했다.
• ITTI, HouCVPR, GBVS, AWS 등 모든 모델가 관찰자 간 일관성 모델보다 유의미하게 낮은 점수를 기록하여 인간의 고정점 행동을 모델링하는 데 격차가 있음을 시사한다.
• 높은 중심 편향을 보이는 카테고리(예: 감정, 흑백, 스케치)에서는 관찰자 간 일관성이 높았고(IO 점수), 반면 뒤섞인 및 위성 이미지에서는 일관성이 낮았다.
• 이미지 당 평균 사카다 수는 약 20회로 5초 간의 시각화 기간 동안 약 6회의 변동성을 보였으며, 관찰자 간 안정적인 시각화 행동을 나타낸다.
• 이 데이터셋은 총 24,148,768회의 사카다와 240시간의 총 시각화 시간을 포함하고 있어 대규모 고정밀 눈동작 추적 코퍼스임을 반영한다.
• 모델들은 상위 수준의 주의 자극(예: 사회적 장면에서의 시선 방향)과 비시각적 콘텐츠(예: 무작위 또는 뒤집힌 이미지)를 다루는 데 어려움을 겪었으며, 이는 의미 이해 능력의 한계를 시사한다.