[논문 리뷰] Deeply-Supervised Recurrent Convolutional Neural Network for Saliency Detection

Youbao Tang, Xiangqian Wu외 1명|arXiv (Cornell University)|2016. 08. 18.

Visual Attention and Saliency Detection참고 문헌 35인용 수 4

한 줄 요약

이 논문은 다중 척도 예측을 융합하여 고품질의 시각적 주목도 맵을 생성함으로써 다섯 개인 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하는 깊이 있는 감독을 받는 순환 컨볼루션 신경망(DSRCNN)을 제안한다. 이 모델은 각 컨볼루션 레이어에 순환 연결을 통합하여 맥락적 특징 학습을 향상시키고, 중간 단계의 사이드아웃풋 레이어를 사용하여 깊이 있는 감독을 제공함으로써 특징의 구분 능력을 향상시킨다.

ABSTRACT

This paper proposes a novel saliency detection method by developing a deeply-supervised recurrent convolutional neural network (DSRCNN), which performs a full image-to-image saliency prediction. For saliency detection, the local, global, and contextual information of salient objects is important to obtain a high quality salient map. To achieve this goal, the DSRCNN is designed based on VGGNet-16. Firstly, the recurrent connections are incorporated into each convolutional layer, which can make the model more powerful for learning the contextual information. Secondly, side-output layers are added to conduct the deeply-supervised operation, which can make the model learn more discriminative and robust features by effecting the intermediate layers. Finally, all of the side-outputs are fused to integrate the local and global information to get the final saliency detection results. Therefore, the DSRCNN combines the advantages of recurrent convolutional neural networks and deeply-supervised nets. The DSRCNN model is tested on five benchmark datasets, and experimental results demonstrate that the proposed method significantly outperforms the state-of-the-art saliency detection approaches on all test datasets.

연구 동기 및 목표

• 이미지 내 국소적, 전역적, 맥락적 특징을 효과적으로 캡처함으로써 주목도 검출 성능을 향상시키기.
• 기본적인 CNN이 장거리 의존성과 맥락 정보를 모델링하는 데 한계를 보이는 문제를 해결하기.
• 중간 단계의 사이드아웃풋을 통한 깊이 있는 감독을 통해 특징 학습을 향상시키기.
• 다양한 수준의 예측을 융합하여 강력하고 정확한 주목도 맵 생성하기.
• 기존 최신 기술 수준의 방법들과 비교하여 벤치마크 데이터셋에서 뛰어난 성능을 달성하기.

제안 방법

• DSRCNN는 배경 아키텍처로 VGGNet-16을 기반으로 구축된다.
• 각 컨볼루션 레이어에 순환 연결을 도입하여 특징 표현을 점진적으로 개선하고 장거리 의존성을 모델링한다.
• 다양한 중간 단계에 사이드아웃풋 레이어를 추가하여 깊이 있는 감독을 가능하게 하고 학습 안정성을 향상시킨다.
• 각 사이드아웃풋은 주목도 맵을 생성하며, 모든 맵이 융합되어 최종 예측을 도출된다.
• 모든 사이드아웃풋과 최종 출력에서의 감독을 조합한 다중 작업 손실을 사용하여 네트워크를 훈련시킨다.
• VGG-16 기반의 잔차 연결 및 스킵 연결을 통한 엔트리-투-엔드 최적화를 통해 특징 학습을 강화한다.

실험 결과

연구 질문

• RQ1 컨볼루션 레이어에 순환 연결을 도입하면 주목도 검출을 위한 맥락적 특징 학습이 향상되는가?
• RQ2 중간 단계의 사이드아웃풋을 통한 깊이 있는 감독이 더 강력하고 구분 능력 있는 특징을 만들어내는가?
• RQ3 다른 네트워크 깊이에서 유도된 다중 척도 예측을 융합하면 주목도 맵의 품질이 향상되는가?
• RQ4 제안된 DSRCNN은 표준 벤치마크에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 국소적, 전역적, 맥락적 특징의 통합이 정확도 향상에 어느 정도 기여하는가?

주요 결과

• DSRCNN는 모든 다섯 개의 벤치마크 데이터셋에서 기존 최신 기술 수준의 주목도 검출 방법들을 뛰어넘는 성능을 보였다.
• 순환 연결의 사용은 특징 맵 간의 장거리 의존성을 모델링함으로써 특징 표현을 향상시켰다.
• 사이드아웃풋을 통한 깊이 있는 감독은 학습 중 특징의 구분 능력과 네트워크의 강건성을 향상시켰다.
• 다양한 단계에서 유도된 예측을 융합함으로써 더 정확하고 세밀한 주목도 맵을 생성할 수 있었다.
• 모든 데이터셋에서 평균 절대 오차(MAE), F-측정치, 정밀도-재현율 지표 측면에서 뛰어난 성능을 달성했다.
• 제거 실험을 통해 순환 연결과 깊이 있는 감독이 성능 향상에 효과적이라는 것이 확인되었다.