[논문 리뷰] DeepFix: A Fully Convolutional Neural Network for predicting Human Eye Fixations

Srinivas S S Kruthiventi, Kumar Ayush외 1명|arXiv (Cornell University)|2015. 10. 10.

Visual Attention and Saliency Detection인용 수 41

한 줄 요약

DeepFix는 끝에서 끝까지 학습하는 완전 컨볼루션 신경망으로, 중심-주변 패턴과 같은 공간적 편향을 모델링하기 위해 새로운 위치 편향 컨볼루션(LBC) 레이어를 통합하여 인간의 눈 정지 위치를 예측한다. 이는 MIT300 및 CAT2000 데이터셋에서 기존 방법보다 상당한 격차로 NSS, EMD, CC 및 유사도 지표에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Understanding and predicting the human visual attentional mechanism is an active area of research in the fields of neuroscience and computer vision. In this work, we propose DeepFix, a first-of-its-kind fully convolutional neural network for accurate saliency prediction. Unlike classical works which characterize the saliency map using various hand-crafted features, our model automatically learns features in a hierarchical fashion and predicts saliency map in an end-to-end manner. DeepFix is designed to capture semantics at multiple scales while taking global context into account using network layers with very large receptive fields. Generally, fully convolutional nets are spatially invariant which prevents them from modeling location dependent patterns (e.g. centre-bias). Our network overcomes this limitation by incorporating a novel Location Biased Convolutional layer. We evaluate our model on two challenging eye fixation datasets -- MIT300, CAT2000 and show that it outperforms other recent approaches by a significant margin.

연구 동기 및 목표

• 이미지 내 인간의 시각적 주의(눈 정지 위치)를 높은 정확도로 예측할 수 있는 딥 러닝 모델을 개발하는 것.
• 수작업 특징에 의존하는 전통적 색채 모델의 한계를 극복하기 위해 계층적이고 데이터 기반의 특징을 학습하는 것.
• 완전 컨볼루션 네트워크의 공간 불변성을 해결하여 중심 편향과 같은 위치에 의존하는 눈 정지 패턴을 모델링하는 것.
• 큰 수신장 컨볼루션을 통해 다중 척도의 의미적 특징과 전반적인 맥락을 통합하여 색채 예측 성능을 향상시키는 것.
• 기준 데이터셋에서 모델을 평가하고 기존 최신 기술 수준의 방법들보다 뛰어난 성능을 입증하는 것.

제안 방법

• 모델는 VGG를 영감으로 하여 20개의 컨볼루션 레이어와 작은 커널 크기를 사용하여 계층적 특징을 추출한다.
• 다양한 커널 크기를 가진 병렬 컨볼루션을 사용하는 인셉션 스타일 모듈을 도입하여 다중 척도 의미 특징을 캡처한다.
• 네트워크의 끝단에서 큰 수신장 컨볼루션 레이어를 사용하여 전반적인 장면 맥락을 모델링하고, 완전 연결 레이어를 대체한다.
• 새로운 위치 편향 컨볼루션(LBC) 레이어를 도입하여, 위치에 의존하는 패턴(예: 중심 편향)을 모델링하기 위해 학습 가능한 공간적 편향 맵을 컨볼루션 연산에 추가한다.
• 예측된 색채 맵과 진짜 색채 맵 간의 차이를 최소화하기 위해 백프로파게이션을 사용하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• LBC 레이어는 공간적으로 확산되어 활성화 이전에 특징 맵에 더해지는 학습 가능한 공간적 편향을 사용하여 위치 기반 주의 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 완전 컨볼루션 신경망이 수작업 특징에 의존하지 않고도 인간의 눈 정지 위치를 효과적으로 예측할 수 있는가?
• RQ2 딥 네트워크는 색채 예측을 위해 다중 척도 의미 특징과 전반적 맥락을 어떻게 모델링할 수 있는가?
• RQ3 명시적으로 공간 편향(예: 중심 편향)을 모델링하는 새로운 컨볼루션 레이어가 표준 FCN보다 색채 예측 성능을 향상시킬 수 있는가?
• RQ4 제안된 LBC 레이어는 중심 편향을 명시적으로 추가하는 것과 비교해 성능과 일반화 능력에서 어떻게 다를까?
• RQ5 왜 AUC 기반 지표는 색채 맵에서 잘못된 양성 결과를 제대로 처벌하지 못하는가? 이는 모델 평가에 어떤 영향을 미치는가?

주요 결과

• DeepFix는 MIT300 및 CAT2000 데이터셋 모두에서 최신 기술 수준의 성능을 달성하여, 기존 방법보다 NSS, EMD, CC 및 유사도 지표에서 뚜렷한 우월성을 보였다.
• MIT1003 검증 세트에서 LBC 변종(DF-LBC)은 NSS = 2.58, EMD = 1.28, CC = 0.72를 기록하여 LBC 없이 사용한 기준 모델(NSS = 2.54, EMD = 1.45, CC = 0.70)보다 유의미하게 뛰어난 성능을 보였다.
• 제거 실험 결과를 통해 LBC 레이어를 통한 위치 편향의 암묵적 학습이 명시적인 평균 중심 편향 맵 추가보다 더 뛰어난 성능을 낳는다는 것이 확인되었다.
• 중심 편향을 정확히 모델링함으로써 AUC-Shuffled 점수가 낮아졌음에도 불구하고, 예측된 색채 맵은 AUC-Shuffled 점수가 높은 모델의 결과보다 진짜 값에 더 질적으로 가까웠다.
• AUC 지표가 잘못된 양성 결과를 제대로 처벌하지 못한다는 것이 입증되었으며, 둔탁한 맵은 날카로운 맵와 유사한 점수를 받을 수 있으나, EMD 및 NSS 지표는 이러한 오류를 정확히 처벌한다.
• 다중 척도 특징 학습, 전반적 맥락, 학습 가능한 공간적 편향의 조합이 뛰어난 색채 예측을 이끌 수 있음을 모델이 입증했다.