[논문 리뷰] Shallow and Deep Convolutional Networks for Saliency Prediction

Junting Pan, Kevin McGuinness외 3명|arXiv (Cornell University)|2016. 03. 02.

Visual Attention and Saliency Detection참고 문헌 35인용 수 132

한 줄 요약

논문은 두 가지 엔드-투-엔드 CNN을 제시합니다: 샬로우 네트워크를 처음부터 학습시킨 경우와 전이 학습을 이용한 더 깊은 네트워크를 여러 주관 소견 벤치마크와 데이터셋에서 평가합니다.

ABSTRACT

The prediction of salient areas in images has been traditionally addressed with hand-crafted features based on neuroscience principles. This paper, however, addresses the problem with a completely data-driven approach by training a convolutional neural network (convnet). The learning process is formulated as a minimization of a loss function that measures the Euclidean distance of the predicted saliency map with the provided ground truth. The recent publication of large datasets of saliency prediction has provided enough data to train end-to-end architectures that are both fast and accurate. Two designs are proposed: a shallow convnet trained from scratch, and a another deeper solution whose first three layers are adapted from another network trained for classification. To the authors knowledge, these are the first end-to-end CNNs trained and tested for the purpose of saliency prediction.

연구 동기 및 목표

• 핸드크래프트(feature engineering)에서 데이터 주도형 주의 예측으로의 전환: CNN 활용.
• 두 가지 엔드-투-엔드 아키텍처의 개발 및 비교(샬로우: 처음부터 학습, 딥: 전이 학습).
• 다양한 대규모 벤치마크 데이터셋에서 주의 예측 성능 평가.
• 샬로우와 딥 모델의 메모리 요구사항 및 학습 고려사항 분석.

제안 방법

• 샬로우 convnet: 다섯 개의 학습된 층(세 개의 conv, 두 개의 완전 연결), SALICON 및 iSUN 데이터셋에서 처음부터 학습; 파라미터 64.4M; 출력 주의 맵은 입력으로 재조정되고 가우시안 후필터링 적용.
• 딥 convnet: 처음 세 층은 사전학습된 VGG_M에서 초기화된 10개의 가중치층; 주의 맵 생성을 위한 deconvolution 층; SALICON 데이터에서 유클리드 손실로 학습; 일반화 규제는 전이 학습 활용으로 도모.
• 학습 세부사항: SGD 및 네스테로프 모멘텀, 학습률 스케줄링, SALICON의 80/20 학습/검증 분할, 320x240로 다운샘플링, 배치 크기 2, 24k 반복, 입력 및 타깃의 평균 중심화, 표준 L2 가중치 감소.
• 평가: MIT Saliency Benchmark, LSUN 챌린지, SALICON, iSUN, MIT300 데이터셋에서 평가; 메모리 사용 및 추론 고려사항 논의.

실험 결과

연구 질문

• RQ1 엔드-투-엔드 CNN이 핸드크래프트 방식에 비해 픽셀 단위 주의 맵을 효과적으로 예측할 수 있는가?
• RQ2 샬로우-에서-처음부터 학습한 네트워크와 딥-전이 CNN 아키텍처가 주의 예측 성능에서 어떻게 비교되는가?
• RQ3 데이터가 제한적일 때 분류 네트로부터의 전이가 주의 예측을 개선하는가?
• RQ4 제안된 모델이 서로 다른 주의 데이터셋 및 벤치마크에서 얼마나 잘 일반화되는가?

주요 결과

• 두 가지 아키텍처 모두 표준 주의 벤치마크에서 경쟁력 있는 결과를 달성합니다(예: iSUN 검증 AUC: Deep 0.63, Shallow 0.64; 표 4의 Judd/ Borji/ 셔플링 버전 참조).
• 샬로우 convnet은 2015 LSUN 주의 예측 챌린지에서 우승했고 SALICON 및 iSUN 테스트 세트에서 여러 벤치마드를 상회했습니다.
• MIT300에서 딥 convnet은 DeepGaze 1에 근접한 성능을 달성하는 반면 샬로우 convnet은 벤치마크 세트 전반에서 여전히 강한 상위 성능을 보였습니다.
• 딥 네트워크는 사전 학습된 VGG_M의 하위 합성곱 층을 전이 받음으로써 규제화와 최종 주의 예측 품질을 개선합니다.
• 샬로우 네트워크는 층 수가 적지만 완전 연결층으로 인해 파라미터가 더 많고, 테스트 시 빠른 처리와 다른 공간적 편향(중앙 경향)을 보입니다.
• 메모리 분석은 상충 관계를 보여줍니다: 샬로우 네트워크는 파라미터 수가 더 많지만 blob 데이터 메모리는 낮아 더 큰 배치로 테스트 가능; 딥 네트워크는 파라미터 수는 적지만 중간 데이터 요구가 큽니다.