[논문 리뷰] Saliency Detection by Forward and Backward Cues in Deep-CNNs

Nevrez İmamoğlu, Chi Zhang외 3명|arXiv (Cornell University)|2017. 03. 01.

Visual Attention and Saliency Detection참고 문헌 19인용 수 7

한 줄 요약

이 논문은 지도 학습이 없는 조건에서 사전 훈련된 깊은 CNN의 전방 및 후방 특징을 활용하여 정상적인 객체를 식별하는 약한 지도 학습 기반의 주목도 검출 모델을 제안한다. 부분적으로 유도된 역전파를 통해 상향식 신호로부터 얻은 객체성 점수를 조합하고, 하향식 모델을 통해 강화함으로써, 두 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 주목도 검출에서 전방 및 후방 신호를 통합하는 것이 효과적임을 보여준다.

ABSTRACT

As prior knowledge of objects or object features helps us make relations for similar objects on attentional tasks, pre-trained deep convolutional neural networks (CNNs) can be used to detect salient objects on images regardless of the object class is in the network knowledge or not. In this paper, we propose a top-down saliency model using CNN, a weakly supervised CNN model trained for 1000 object labelling task from RGB images. The model detects attentive regions based on their objectness scores predicted by selected features from CNNs. To estimate the salient objects effectively, we combine both forward and backward features, while demonstrating that partially-guided backpropagation will provide sufficient information for selecting the features from forward run of CNN model. Finally, these top-down cues are enhanced with a state-of-the-art bottom-up model as complementing the overall saliency. As the proposed model is an effective integration of forward and backward cues through objectness without any supervision or regression to ground truth data, it gives promising results compared to state-of-the-art models in two different datasets.

연구 동기 및 목표

• 지상 진술 레이블이나 레이블링된 데이터에 의존하지 않고 주목도 검출 모델을 개발하는 것.
• 사전 훈련된 CNN에서 전방 및 후방 특징의 유용성을 탐색하여 주목할 만한 영역을 식별하는 것.
• 상향식 객체성 신호와 하향식 주목도를 융합하여 검출 성능을 향상시키는 것.
• 부분적으로 유도된 역전파가 지도 학습이 없는 조건에서 효과적인 특징 선택을 위한 충분한 정보를 제공하는지 확인하는 것.
• 사전 훈련된 네트워크의 지식만을 사용하여 표준 주목도 검출 벤치마크에서 경쟁 가능한 성능을 달성하는 것.

제안 방법

• 1000개 클래스의 ImageNet CNN을 사전 훈련된 약한 지도 학습 기반의 객체성 점수 소스로 활용한다.
• 주목도에 관련된 특징을 강조하기 위해 부분적으로 유도된 역전파를 적용하여 후방 신호를 추출한다.
• 전방 전파를 통한 객체성 점수와 역전파된 관련성 맵을 융합하여 상향식 주목도 신호를 생성한다.
• 상향식 주목도를 최신 기술 수준의 하향식 주목도 모델과 융합하여 예측을 보완한다.
• 추가적인 훈련이나 지도 학습을 사용하지 않으며, 오직 사전 훈련된 CNN의 내부 표현에 의존한다.
• 최종 주목도 맵을 상향식(객체성 기반) 및 하향식(저수준 특징 기반) 신호의 융합으로 사용한다.

실험 결과

연구 질문

• RQ1 지상 진술 레이블이 없이도 사전 훈련된 CNN의 전방 및 후방 특징만으로 주목도 검출을 효과적으로 수행할 수 있는가?
• RQ2 깊은 CNN의 전방 및 후방 신호는 이미지 내 주목할 만한 객체를 식별하는 데 어떻게 기여하는가?
• RQ3 완전한 지도 학습이 없는 조건에서 부분적으로 유도된 역전파가 주목할 만한 특징을 선택하는 데 충분한 정보를 제공하는가?
• RQ4 상향식 및 하향식 신호의 융합은 단독 모델보다 주목도 검출 성능을 향상시킬 수 있는가?
• RQ5 이를 바탕으로 제안된 방법은 레이블이 없는 조건에서 표준 벤치마크에서 최신 기술 수준의 접근 방식과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 모델은 지상 진술 레이블이나 지도 학습 미세조정 없이도 두 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 부분적으로 유도된 역전파가 주목도 검출에 필요한 관련 특징을 효과적으로 포착하여 전체 역전파의 필요성을 줄인다.
• 상향식 객체성 신호와 하향식 특징의 융합은 주목도 맵의 품질과 국소화 정확도를 크게 향상시킨다.
• 모델은 강력한 일반화 능력을 보이며, 1000개의 ImageNet 클래스에 포함되지 않은 객체도 주목도로 탐지할 수 있다.
• DUT-OMRON 및 PASCAL-S 데이터셋 모두에서 기존의 약한 지도 학습 및 비지도 학습 주목도 검출 모델보다 성능이 뛰어나다.