[논문 리뷰] A Deep Learning Based Fast Image Saliency Detection Algorithm

Hengyue Pan, Hui Jiang|arXiv (Cornell University)|2016. 02. 01.

Visual Attention and Saliency Detection참고 문헌 23인용 수 7

한 줄 요약

이 논문은 사전 훈련된 CNN에서 경사 하강법을 사용하여 클래스별 사전 시각적 지도를 생성함으로써 객체의 주목도 검출을 위한 빠른 딥러닝 기반 방법을 제안한다. 객체성에 초점을 맞추고 배경을 억제하는 비용 함수를 역전파하여 입력 그라디언트에서 원시 사전 시각적 지도를 계산하고, 이를 SLIC 슈퍼픽셀과 저수준 특징을 사용하여 정제함으로써, 최신 딥러닝 방법보다 약 10배 빠른 속도로 고품질 결과를 달성한다.

ABSTRACT

In this paper, we propose a fast deep learning method for object saliency detection using convolutional neural networks. In our approach, we use a gradient descent method to iteratively modify the input images based on the pixel-wise gradients to reduce a pre-defined cost function, which is defined to measure the class-specific objectness and clamp the class-irrelevant outputs to maintain image background. The pixel-wise gradients can be efficiently computed using the back-propagation algorithm. We further apply SLIC superpixels and LAB color based low level saliency features to smooth and refine the gradients. Our methods are quite computationally efficient, much faster than other deep learning based saliency methods. Experimental results on two benchmark tasks, namely Pascal VOC 2012 and MSRA10k, have shown that our proposed methods can generate high-quality salience maps, at least comparable with many slow and complicated deep learning methods. Comparing with the pure low-level methods, our approach excels in handling many difficult images, which contain complex background, highly-variable salient objects, multiple objects, and/or very small salient objects.

연구 동기 및 목표

• 복잡한 배경이나 작은, 변동성이 큰 주목적 객체를 포함한 과제적인 이미지에서 높은 정확도를 유지하면서도 계산 비용이 적은 주목도 검출의 필요성 해결.
• 높은 배경 복잡성 또는 다수의 주목적 객체를 포함한 이미지에서 실패하는 경향이 있는 전통적인 저수준 주목도 방법의 한계 극복.
• 비용이 많이 들거나 미세조정이 필요한 후처리 없이도 딥 컨volution 네트워크의 표현 능력을 활용하는 방법 개발.
• 실시간 성능를 달성하면서도 더 느리고 복잡한 딥러닝 주목도 모델의 품질에 맞추거나 초월하는 것.

제안 방법

• 이미지 분류를 위한 사전 훈련된 딥 컨volution 네트워크(DCNN)를 주목도 검출의 기반으로 사용.
• 클래스별 객체성 측정 및 클래스에 관련이 없는 출력을 억제하는 비용 함수 정의로 배경 일관성 유지.
• 비용 함수의 그라디언트를 네트워크를 통해 입력 레이어로 역전파하여 입력 이미지를 반복적으로 수정함으로써 경사 하강법 적용.
• 몇 차례의 경사 하강 단계 후 원본 이미지와 최적화된 입력 이미지 간의 L2 차이를 추출하여 원시 주목도 지도 생성.
• 노이즈 감소 및 공간 일관성 향상을 위해 원시 주목도 지도를 SLIC 슈퍼픽셀을 사용하여 스무딩.
• 경계 정확도 및 세부 정보 향상을 위해 저수준 주목도 특징(예: 색상 대비, 밝기)을 통합하여 주목도 지도 정제.

실험 결과

연구 질문

• RQ1 사전 훈련된 DCNN에서 기울기 기반 최적화 접근법이 기존 딥러닝 방법보다 더 효율적으로 고품질 주목도 지도를 생성할 수 있는가?
• RQ2 이러한 방법이 복잡한 배경, 다수의 주목적 객체 또는 매우 작은 주목적 영역을 포함한 이미지에서 저수준 특징 기반 방법과 비교해 어떻게 성능을 내는가?
• RQ3 SLIC 슈퍼픽셀과 저수준 특징이 기울기 기반 최적화에서 생성된 주목도 지도의 품질과 견고성에 어느 정도 기여하는가?
• RQ4 특히 Pascal VOC 2012 및 MSRA10k와 같은 벤치마크 데이터셋에서 최신 딥러닝 주목도 모델과의 속도 및 정확도 측면에서 어떻게 비교되는가?

주요 결과

• 이 논문의 방법은 단일 GPU에서 평균 추론 시간이 약 0.45초로, [25]에서 제시한 최신 기술보다 약 10배 빠름.
• Pascal VOC 2012 데이터셋에서, 이 방법은 영역 대비 방법 [6]과 DCNN 기반 방법 [19]보다 PR 곡선과 Fβ 점수 모두에서 뛰어난 성능를 보이며, [25]와 유사한 성능를 기록함.
• MSRA10k 데이터셋에서 이 방법은 [25]에 비해 略적으로 떨어지지만, 미세조정 없이 ImageNet에서 훈련된 불일치하는 DCNN를 사용함에도 불구하고 [6]과 [19]보다 뚜렷이 뛰어난 성능를 보임.
• 이 방법은 복잡한 배경, 다수의 주목적 객체 또는 매우 작은 주목적 영역을 포함한 어려운 이미지에서 뛰어난 견고성을 보이며, 저수준 방법이 실패하는 경우에도 효과적임.
• SLIC 슈퍼픽셀과 저수준 특징의 통합은 주목도 지도의 품질을 크게 향상시켜 노이즈를 감소시키고 경계 정밀도를 향상시킴.
• 기울기 하강법을 통해 생성된 원시 주목도 지도는 효과적이며, 정제 파이프라인 덕분에 종단 간 훈련이나 복잡한 아키텍처 없이도 고정밀 결과를 확보함.