[논문 리뷰] Deep Gaze I: Boosting Saliency Prediction with Feature Maps Trained on ImageNet

Matthias Kümmerer, Lucas Theis외 1명|arXiv (Cornell University)|2014. 11. 04.

Visual Attention and Saliency Detection참고 문헌 23인용 수 231

한 줄 요약

이 논문은 Krizhevsky 등(2012)의 컨볼루션 신경망에서 사전 훈련된 ImageNet 특징을 활용하여 눈의 정지 위치 예측 성능을 크게 향상시키는 Deep Gaze I라는 쇼킹 예측 모델을 제안한다. 사전 훈련된 네트워크의 깊이 있는 특징 맵을 사용하고, 눈의 정지 데이터에 대해 단순 선형 모델을 훈련시킴으로써, MIT Saliency Benchmark에서 최신 기술 대비 설명 가능한 정보량이 67% 향상되었다.

ABSTRACT

Recent results suggest that state-of-the-art saliency models perform far from optimal in predicting fixations. This lack in performance has been attributed to an inability to model the influence of high-level image features such as objects. Recent seminal advances in applying deep neural networks to tasks like object recognition suggests that they are able to capture this kind of structure. However, the enormous amount of training data necessary to train these networks makes them difficult to apply directly to saliency prediction. We present a novel way of reusing existing neural networks that have been pretrained on the task of object recognition in models of fixation prediction. Using the well-known network of Krizhevsky et al. (2012), we come up with a new saliency model that significantly outperforms all state-of-the-art models on the MIT Saliency Benchmark. We show that the structure of this network allows new insights in the psychophysics of fixation selection and potentially their neural implementation. To train our network, we build on recent work on the modeling of saliency as point processes.

연구 동기 및 목표

• 기존 쇼킹 예측 모델이 인간의 눈의 정지 위치를 예측하는 데에 낮은 성능을 보이며, 특히 물체와 같은 고수준 이미지 특징을 모델링하지 못하는 문제를 해결한다.
• 대규모 이미지 인식 데이터셋에서 사전 훈련된 깊이 신경망을 재사용하여 눈의 정지 예측 문제에서의 데이터 부족 문제를 해결한다.
• 저수준과 고수준 시각적 특징을 모두 포괄하는 쇼킹 예측 모델을 개발하여, 예측 정확도를 향상시킨다. 이는 팝아웃과 같은 추상적 개념까지 포함한다.
• 점 프로세스 로그우도를 사용한 원칙적인 학습 프레임워크를 구축하여 눈의 정지 예측 모델을 평가하고 최적화한다.

제안 방법

• 입력 이미지의 고정된 특징 추출기로 Krizhevsky 등(2012)의 사전 훈련된 컨볼루션 신경망(AlexNet)을 사용하여, 학습된 계층적 표현을 활용한다.
• 사전 훈련된 네트워크의 여러 중간 레이어(예: conv1에서 relu5까지)의 활성화 맵을 추출하고, 이를 입력 이미지 해상도에 맞게 업샘플링한다.
• 각 특징 맵을 개별 가중치를 가진 선형 조합으로 조합하여, 깊이 있는 특징들의 가중 합으로 구성된 쇼킹 맵을 형성한다.
• 점 프로세스 모델 하에서 관측된 눈의 정지 패tern의 로그우도를 최대화함으로써 모델을 훈련시켜, 비선형성 피팅 없이도 원칙적인 최적화를 가능하게 한다.
• MIT1003 데이터셋을 사용하여 훈련(반분), 테스트(반분)로 나누어, 사전 훈련된 네트워크의 가중치는 동결한 채로 선형 모델을 눈의 정지 데이터에 대해 훈련시킨다.
• 가장 중요한 특징을 식별하고, 그 특징들이 이미지 패치에 대해 어떻게 반응하는지 시각화하여, 얼굴, 텍스트, 쇼킹 팝아웃 구조에 민감한 특징을 밝혀낸다.

실험 결과

연구 질문

• RQ1 ImageNet에서 사전 훈련된 깊이 신경망 특징이 전통적인 저수준 신호를 초월하여 쇼킹 예측 성능을 향상시킬 수 있는가?
• RQ2 얼굴, 텍스트, 눈에 띄는 물체와 같은 고수준 특징이 깊이 특징에 기반한 선형 모델에 의해 얼마나 잘 포착되고 활용될 수 있는가?
• RQ3 점 프로세스 모델링을 위한 원칙적인 최대 로그우도 목적함수는 기존 평가 지표에 비해 쇼킹 예측 성능 향상에 기여하는가?
• RQ4 Krizhevsky의 AlexNet과 같은 사전 훈련된 네트워크의 내부 표현이 인간의 눈의 정지 선택 메커니즘에 대한 신경 기반 기전을 이해하는 데 기여할 수 있는가?

주요 결과

• Deep Gaze I는 MIT Saliency Benchmark에서 최신 기술 대비 67% 높은 설명 가능한 정보량을 달성하여, 총 56%의 설명 가능한 정보량을 확보했다.
• 비선형성 피팅이 전혀 필요 없이도 기존 쇼킹 예측 모델을 뛰어넘는 성능을 보였으며, 이는 깊이 특징 자체가 풍부하고 예측 가능한 표현을 제공한다는 것을 시사한다.
• 모델이 학습한 가장 중요한 특징은 고수준 시각적 개념에 민감하다: 최상위 특징은 얼굴에 반응하고, 두 번째 특징은 텍스트에 반응하며, 세 번째 특징은 눈에 띄는 팝아웃 구조에 반응한다.
• 모델은 맥락 의존적인 쇼킹 예측을 포괄한다. 예를 들어, 시각적 검색 작업에서 목표를 탐지하는 데에 민감하며, 단순한 밝기나 색상 대비를 넘어서 추상적이고 관계 기반의 특징을 감지한다.
• 특징 시각화 결과는 모델이 얼굴과 텍스트와 같이 의미 있고 행동적으로 관련 있는 구조를 탐지할 수 있음을 확인하였으며, 생물학적 및 심리물리학적으로 타당한 모델임을 검증한다.
• 사전 훈련된 ImageNet 특징의 사용은 제한된 눈의 정지 훈련 데이터에서도 뛰어난 성능을 달성하게 하여, 소규모 눈의 정지 데이터셋에서 흔히 발생하는 과적합 문제를 피할 수 있게 하였다.