[논문 리뷰] WEPSAM: Weakly Pre-Learnt Saliency Model

Avisek Lahiri, Sourya Roy외 3명|arXiv (Cornell University)|2016. 05. 03.

Visual Attention and Saliency Detection참고 문헌 27인용 수 4

한 줄 요약

WEPSAM은 눈의 집중 데이터가 제한된 상태에서 도메인 특화 사전 훈련을 위해 ImageNet을 활용하는 약한 사전 훈련을 적용한 컨볼루션 신경망을 제안한다. 이후 미세 조정을 통해 시각적 주목도 예측을 수행한다. 이 방법은 기존 최고 성능 모델 대비 더 빠른 수렴 속도와 MIT300에서 뛰어난 성능을 달성하며, 약한 사전 훈련이 주목도 검출의 효율성과 정확도를 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Visual saliency detection tries to mimic human vision psychology which concentrates on sparse, important areas in natural image. Saliency prediction research has been traditionally based on low level features such as contrast, edge, etc. Recent thrust in saliency prediction research is to learn high level semantics using ground truth eye fixation datasets. In this paper we present, WEPSAM : Weakly Pre-Learnt Saliency Model as a pioneering effort of using domain specific pre-learing on ImageNet for saliency prediction using a light weight CNN architecture. The paper proposes a two step hierarchical learning, in which the first step is to develop a framework for weakly pre-training on a large scale dataset such as ImageNet which is void of human eye fixation maps. The second step refines the pre-trained model on a limited set of ground truth fixations. Analysis of loss on iSUN and SALICON datasets reveal that pre-trained network converges much faster compared to randomly initialized network. WEPSAM also outperforms some recent state-of-the-art saliency prediction models on the challenging MIT300 dataset.

연구 동기 및 목표

• 주목도 예측에서 진짜 눈의 집중 데이터가 부족한 문제를 해결하기 위해 약한 사전 훈련을 적용한 CNN 프레임워크를 제안한다.
• 인간의 눈의 집중 레이블이 없는 대규모 비라벨 데이터셋인 ImageNet을 활용해 주목도 모델을 사전 훈련할 수 있는 가능성을 탐색한다.
• 사전 훈련을 정규화 기법으로 활용하여 주목도 예측 작업의 훈련 효율성과 일반화 능력을 향상시킨다.
• 도메인 특화 사전 훈련이 이미지넷에서 수행될 경우, 하류 주목도 데이터셋에서 무작위 초기화보다 더 빠른 수렴 속도와 뛰어난 성능을 달성할 수 있음을 입증한다.

제안 방법

• 3단계의 CONV-ReLU-MAX_POOL로 구성된 5층의 얕은 CNN 아키텍처를 사용하며, 이후 두 개의 완전 연결 계층이 오며, 마지막 계층에 maxout 연산을 적용한다.
• 모델은 진짜 눈의 집중 지ap을 요구하지 않고 인간의 집중 패턴을 근사하는 자기지도 학습 목표를 사용해 ImageNet에서 약한 사전 훈련을 수행한다.
• 사전 훈련 후, 소규모 진짜 눈의 집중 데이터셋(iSUN 및 SALICON)에서 1024차원 회귀 손실을 사용한 원소별 제곱 오차를 통해 미세 조정을 수행한다.
• 사전 훈련 단계는 네트워크 가중치를 주목도 관련 특징을 담고 있도록 초기화하여, 미세 조정 시 광범위한 역전파를 줄인다.
• 입력 이미지 크기는 128×128 RGB로 고정되며, 출력은 최종 1024D 벡터의 업샘플링을 통해 생성된 32×32 주목도 맵이다.
• 첫 번째, 두 번째, 세 번째 컨볼루션 스테이지에 각각 5×5, 3×3, 3×3의 수용장역할을 사용하며, 2×2 맥스 풀링 레이어를 적용한다.

실험 결과

연구 질문

• RQ1 무작위 초기화에 비해 ImageNet에서의 약한 사전 훈련이 주목도 예측의 미세 조정 과정에서 수렴 속도를 빠르게 할 수 있는가?
• RQ2 대규모 비집중 데이터셋인 ImageNet에서의 사전 훈련이 하류 주목도 예측 작업의 일반화 능력과 성능 향상에 기여하는가?
• RQ3 ImageNet에서 도메인 특화 사전 훈련이 랜덤 가중치 초기화에 비해 손실 감소 속도와 최종 성능 측면에서 얼마나 뛰어난가?
• RQ4 MIT300 데이터셋에서 WEPSAM은 기존 최고 수준의 주목도 모델과 비교해 정량적 지표와 정성적 주목도 맵 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 단일 128×128 입력 해상도와 세 개의 컨볼루션 레이어만을 사용하는 경량 CNN 아키텍처가, 라벨이 부여된 눈의 집중 데이터에 의존하지 않고 ImageNet에서의 약한 지도 학습을 통해 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 사전 훈련된 WEPSAM 모델은 더 빠른 수렴을 보이며, 400 에포크 후 훈련 손실과 검증 손실이 각각 7.2×10⁻³과 7.3×10⁻³으로 감소한 반면, 무작위 초기화된 네트워크는 7.7×10⁻³과 7.8×10⁻³을 기록했다.
• 훈련 시작 시점에서 WEPSAM의 훈련 손실과 검증 손실은 각각 8.2×10⁻³과 8.4×10⁻³이었으며, 무작위 초기화 네트워크의 10.6×10⁻³과 9.6×10⁻³보다 각각 2.4×10⁻³ 향상된 성능를 보였다.
• MIT300 데이터셋에서 WEPSAM은 CIW, CAS, RARE-2012 등의 비학습 기반 모델들을 AUC-Judd, AUC-Borji, CC, SIM, KL, NSS 지표에서 모두 초월했다.
• 단일 128×128 입력 해상도와 세 개의 컨볼루션 레이어만을 사용함에도 불구하고, WEPSAM은 더 복잡한 MR-CNN 모델보다 AUC-Judd와 CC 등의 지표에서 뛰어난 성능을 보였다.
• 정성적 결과에서는 WEPSAM이 얼굴, 관심 있는 물체 등 의미적으로 중요한 영역을 강조하는 반면, 경쟁 모델들은 가장자리와 기울기를 강조하는 흐릿한 맵을 생성한다.
• 사전 훈련 이후의 예측 결과가 이미 진짜 눈의 집중 패턴과 유사하게 구성되어 있어, 약한 사전 훈련이 주목도 관련 특징을 효과적으로 포착하고 있음을 시사한다.