[논문 리뷰] Do Saliency Models Detect Odd-One-Out Targets? New Datasets and Evaluations

Iuliia Kotseruba, Calden Wloka외 2명|arXiv (Cornell University)|2020. 05. 13.

Visual Attention and Saliency Detection인용 수 11

한 줄 요약

이 논문은 시각 주의의 핵심 요소인 싱글릿 탐지에 대한 소견 모델 평가를 위해 두 가지 새로운 데이터셋—P3(심리물리적 패턴)와 O3(자연스러운 이상자 탐지 자극)—을 소개한다. 광범위한 테스트에도 불구하고, 대부분의 전통적 및 딥러닝 기반 소견 모델은 이상자 타겟을 신뢰성 있게 탐지하지 못하며, P3 또는 O3로 훈련 데이터를 보강해도 성능 향상이 미미하여 인간과 유사한 주의 메커니즘 모델링의 심각한 격차를 드러낸다.

ABSTRACT

Recent advances in the field of saliency have concentrated on fixation prediction, with benchmarks reaching saturation. However, there is an extensive body of works in psychology and neuroscience that describe aspects of human visual attention that might not be adequately captured by current approaches. Here, we investigate singleton detection, which can be thought of as a canonical example of salience. We introduce two novel datasets, one with psychophysical patterns and one with natural odd-one-out stimuli. Using these datasets we demonstrate through extensive experimentation that nearly all saliency algorithms do not adequately respond to singleton targets in synthetic and natural images. Furthermore, we investigate the effect of training state-of-the-art CNN-based saliency models on these types of stimuli and conclude that the additional training data does not lead to a significant improvement of their ability to find odd-one-out targets. Datasets are available at http://data.nvision2.eecs.yorku.ca/P3O3/.

연구 동기 및 목표

• 시각 주의 분야의 대표적 과제인 이상자 탐지에 대해 소견 모델의 체계적 평가 부족을 해결하기 위해.
• 현재 소견 모델이 합성 및 자연 이미지 환경에서 싱글릿 타겟을 효과적으로 탐지할 수 있는지 조사하기 위해.
• 새로운 이상자 탐지 데이터셋(P3 및 O3)으로 딥러닝 기반 소견 모델을 훈련시켰을 때의 성능에 미치는 영향을 평가하기 위해.
• 시각 탐색 과제에서 인간의 시각 주의와 알고리즘 성능 사이에 지속적으로 존재하는 격차를 규명하기 위해.

제안 방법

• 심리물리적으로 검증된 합성 자극을 포함한 P3 데이터셋(색상/방향 단일성)과 자연 이미지로 구성된 O3 데이터셋을 제안.
• 모델 평가를 위한 기준이 되는 인간의 시선 집중 데이터를 P3 및 O3 자극에 대해 수집.
• AUC-Judd, CC, KLDiv, NSS, SIM 및 타겟/배경 평균 소견 비율과 같은 표준 지표를 사용해 P3, O3, MIT1003 데이터셋에서 15종의 전통적 및 딥러닝 기반 소견 모델을 평가.
• P3 및 O3 데이터를 포함한 기존 훈련 데이터와 병합하여 최신의 CNN 기반 모델(MLNet 및 SALICON)을 훈련시어 이들의 이식 가능성과 성능 향상을 평가.
• O3 및 P3의 경우 전체 시선 지ap 맵이 없을 때 시선 집중의 대체 지표로 타겟 이진 마스크를 사용.
• 모델 일반화 및 이상자 탐지 능력에 대한 P3 대비 O3 데이터의 영향을 분리하기 위해 아블레이션 스터디를 수행.

실험 결과

연구 질문

• RQ1 전통적 및 딥러닝 기반 소견 모델은 합성 및 자연 이미지 자극에서 이상자 타겟을 신뢰성 있게 탐지할 수 있는가?
• RQ2 P3 및 O3 데이터셋으로 소견 모델의 훈련 데이터를 보강하면 싱글릿 타겟 탐지 능력이 크게 향상되는가?
• RQ3 AUC, CC, NSS 기준으로 P3 및 O3에서 소견 모델의 성능 지표는 인간의 시선 패턴과 어떻게 비교되는가?
• RQ4 CNN 기반 모델은 P3 및 O3 데이터로부터 표준 벤치마크인 MIT1003에 대해 얼마나 잘 일반화되는가?
• RQ5 싱글릿 탐지 과제에서 인간의 시각 주의와 알고리즘 소견 간의 정량적 및 정성적 차이는 무엇인가?

주요 결과

• 전통적 소견 모델은 P3 자극에서 딥러닝 모델보다 뛰어난 성능을 보이며, 현재의 CNN 기반 접근 방식이 특징 기반 싱글릿 탐지에 최적화되어 있지 않음을 시사한다.
• O3 데이터로 MLNet 및 SALICON을 훈련시키면 O3 테스트 이미지에서 가장 높은 성능을 기록하며, MSR_target > MSR_background를 보여 이산화 능력 향상됨을 시사한다.
• P3 또는 O3로 훈련 데이터를 보강해도 MIT1003에서의 시선 예측 정확도 향상이 미미하며, 모든 모델에서 AUC-Judd 값이 0.02 이내로 증가한다.
• 기존 훈련 데이터에 O3 데이터를 병합한 경우가 MIT1003에서 전체적으로 가장 뛰어난 성능을 기록하며, MLNet의 AUC-Judd는 0.82, OSIE의 AUC-Judd는 0.86을 기록한다.
• O3 데이터로 훈련한 SALICON 및 OSIE 모델은 P3 데이터로 훈련한 모델보다 더 높은 타겟 소견 비율(MSR_target > 0.9)을 기록하지만, P3 데이터로 훈련한 모델는 타겟 구분 능력이 떨어져 MSR_target ≈ 0.44–0.46 수준을 보인다.
• 광범위한 훈련에도 불구하고, 오직 P3 데이터로만 훈련된 모델는 전반적으로 가장 열악한 성능을 보이며, AUC-Judd는 0.51, NSS는 0.13으로 인간의 시선 패턴과의 일치도가 낮음을 시사한다.