[논문 리뷰] End-to-end Convolutional Network for Saliency Prediction

Junting Pan, Xavier Giró-i-Nieto|arXiv (Cornell University)|2015. 07. 06.

Visual Attention and Saliency Detection참고 문헌 7인용 수 17

한 줄 요약

이 논문은 유사도 예측을 위한 엔드 투 엔드 컨volution 신경망인 JuntingNet을 제안하며, 유클리드 손실 함수를 사용하여 연속적인 유사도 맵으로 직접 회귀한다. 대규모 데이터셋(iSUN 및 SALICON)으로 훈련하여 최신 기술 수준의 성능를 달성하였으며, LSUN 2015 챌린지에서 모든 지표에서 기존 방법보다 뚜렷한 우위를 보이며 1등을 차지하였다.

ABSTRACT

The prediction of saliency areas in images has been traditionally addressed with hand crafted features based on neuroscience principles. This paper however addresses the problem with a completely data-driven approach by training a convolutional network. The learning process is formulated as a minimization of a loss function that measures the Euclidean distance of the predicted saliency map with the provided ground truth. The recent publication of large datasets of saliency prediction has provided enough data to train a not very deep architecture which is both fast and accurate. The convolutional network in this paper, named JuntingNet, won the LSUN 2015 challenge on saliency prediction with a superior performance in all considered metrics.

연구 동기 및 목표

• 손으로 만든 특징을 사용하지 않고 완전히 데이터 기반의 엔드 투 엔드 컨volution 네트워크를 개발하기 위해.
• 유사도 예측 문제를 분류가 아닌 회귀 문제로 다루어 유사도 맵의 공간적 일관성을 모델링하기 위해.
• 큰 규모의 주석이 달린 데이터셋(iSUN 및 SALICON)을 활용하여 과적합을 방지하는 얕은 구조이지만 효과적인 아키텍처를 훈련하기 위해.
• 특히 유사도, CC, AUC, Judd AUC 지표에서 뛰어난 성능을 달성하기 위해.
• 미래 연구 및 응용을 위해 공개 가능한 고성능 모델을 제공하기 위해.

제안 방법

• 네트워크인 JuntingNet은 다섯 층의 얕은 아키텍처를 사용한다: 세 개의 2D 컨볼루션 레이어와 두 개의 완전 연결 레이어(1x1 컨볼루션으로 간주함).
• 입력 이미지는 과적합 위험과 계산 부담을 줄이기 위해 96×96×3으로 리사이징된다.
• 예측된 유사도 맵과 진짜 유사도 맵 간의 L2(유클리드) 손실을 최소화하여 모델을 엔드 투 엔드로 훈련시킨다.
• 최종 유사도 맵 예측을 부드럽게 하기 위해 후처리 단계에서 가우시안 필터를 적용한다.
• 훈련은 GTX 980 GPU에서 Theano를 사용하여 수행되며, 1,000 에포크 동안 기준 학습률 0.001로 진행되며, 0.0001로 감소시킨다.
• iSUN(6,000장의 이미지) 및 SALICON(10,000장의 이미지) 데이터셋 각각 별도로 훈련된다.

실험 결과

연구 질문

• RQ1 직접 회귀를 통해 훈련되는 얕은 엔드 투 엔드 컨volution 네트워크가 기존의 손으로 만든 유사도 모델보다 뛰어난 성능을 낼 수 있는가?
• RQ2 대규모 주석이 달린 유사도 데이터셋을 데이터 기반 접근으로 사용하면, 분류 작업에서의 전이 학습 없이도 뛰어난 성능을 달성할 수 있는가?
• RQ3 적은 층 수를 가진 아키텍처의 단순함이 과적합을 방지하면서도 유사도 예측의 높은 정확도를 유지하는 데 얼마나 기여하는가?
• RQ4 엔드 투 엔드 회귀 모델의 성능는 다양한 유사도 평가 지표(예: CC, AUC, Judd AUC)에서 어떻게 비교되는가?
• RQ5 단일 통합 아키텍처가 눈동자 추적과 클릭 기반 주석 방식을 포함한 다양한 유사도 주석 파라다임에 일반화될 수 있는가?

주요 결과

• JuntingNet은 LSUN 2015 챌린지에서 모든 평가 지표에서 최고 점수를 기록하여 iSUN 및 SALICON 데이터셋 모두에서 1등을 차지하였다.
• iSUN 데이터셋에서 유사도 0.6833, CC 0.8230, AUC 샤프들 0.6650, AUC Borji 0.8463, AUC Judd 0.8693의 성능를 달성하였다.
• SALICON 데이터셋에서 유사도 0.5198, CC 0.5957, AUC 샤프들 0.6698, AUC Borji 0.8291, AUC Judd 0.8364의 성능를 달성하였다.
• GBVS, Itti, BMS 및 기타 최신 기술 수준의 방법들을 포함한 모든 기준 모델을 뚜렷한 우위로 압도하였다.
• 훈련 과정은 각 데이터셋당 약 5~7시간이 소요되었으며, 추론은 이미지당 단지 200ms로 매우 효율적이었다.
• 결과적으로, 직접 유사도 맵에 훈련된 얕은 엔드 투 엔드 CNN이 분류 작업에서의 사전 훈련된 특징에 의존하지 않고도 최신 기술 수준의 성능를 달성할 수 있음을 입증하였다.