[논문 리뷰] Deep Learning for Object Saliency Detection and Image Segmentation

Hengyue Pan, Bo Wang외 1명|arXiv (Cornell University)|2015. 05. 05.

Visual Attention and Saliency Detection참고 문헌 18인용 수 19

한 줄 요약

이 논문은 사전 훈련된 합성곱 신경망(DCNN)을 기반으로 한 기울기 기반 최적화를 사용하여 객체 시각적 중요도 검출을 위한 새로운 딥러닝 접근법을 제안한다. DCNN의 분류 손실에서 역전파된 기울기를 사용해 입력 이미지를 반복적으로 수정함으로써 특정 클래스의 객체성 비용 함수를 최소화함으로써, 원본 이미지와 수정된 이미지 간의 차이로 고품질의 시각적 중요도 맵을 생성한다. 이 방법은 단일 GPU에서 초당 20~40장의 이미지 처리 속도를 달성하며, MS COCO 및 Pascal VOC 2012에서 기존 방법들보다 뛰어난 성능을 보이며, 특히 배경이 복잡하거나 소형 또는 다중 시각적 중요도 객체를 포함한 어려운 이미지에서 뛰어난 성능을 발휘한다.

ABSTRACT

In this paper, we propose several novel deep learning methods for object saliency detection based on the powerful convolutional neural networks. In our approach, we use a gradient descent method to iteratively modify an input image based on the pixel-wise gradients to reduce a cost function measuring the class-specific objectness of the image. The pixel-wise gradients can be efficiently computed using the back-propagation algorithm. The discrepancy between the modified image and the original one may be used as a saliency map for the image. Moreover, we have further proposed several new training methods to learn saliency-specific convolutional nets for object saliency detection, in order to leverage the available pixel-wise segmentation information. Our methods are extremely computationally efficient (processing 20-40 images per second in one GPU). In this work, we use the computed saliency maps for image segmentation. Experimental results on two benchmark tasks, namely Microsoft COCO and Pascal VOC 2012, have shown that our proposed methods can generate high-quality salience maps, clearly outperforming many existing methods. In particular, our approaches excel in handling many difficult images, which contain complex background, highly-variable salient objects, multiple objects, and/or very small salient objects.

연구 동기 및 목표

• 딥 컨volution 신경망을 사용한 계산 효율성이 높은 객체 시각적 중요도 검출 방법을 개발하기 위해.
• 픽셀 단위의 세그멘테이션 애너테이션을 활용하여 성능 향상을 위한 시각적 중요도 전용 DCNN을 훈련하기 위해.
• 이미지 세그멘테이션 파이프라인을 효과적으로 구동할 수 있는 고품질의 시각적 중요도 맵을 생성하기 위해.
• 복잡한 이미지에서의 시각적 중요도 검출 과제, 즉 다중, 소형, 또는 매우 변동성이 큰 시각적 중요도 객체를 다루기 위해.
• 단일 GPU에서 고정밀도를 유지하면서도 실시간 성능(초당 20~40장)을 달성하기 위해.

제안 방법

• DCNN의 분류 손실에서 기울기를 역전파하여 입력 이미지를 반복적으로 수정함으로써 특정 클래스의 객체성을 최대화하도록 픽셀을 개선하는 기울기 하강법을 사용한다.
• 몇 번의 기울기 하강 단계 후 원본 이미지와 최적화된 이미지 간의 L2 차이로 시각적 중요도 맵을 계산한다.
• 시각적 중요도 객체가 제거된 마스킹된 이미지를 사용하여, 다양한 맥락에서 객체성을 학습하기 위해 원본 이미지와 마스킹된 이미지를 모두 사용해 다수의 DCNN을 훈련시킨다.
• 이중 단계 훈련 전략을 적용한다: 하나의 DCNN은 원본 이미지용, 다른 하나는 마스킹된 이미지용이며, 각 경우의 객체성 측정을 위한 손실 함수를 설계한다.
• 최적화된 이미지에서 생성된 시각적 중요도 맵을 MCG 기반 세그멘테이션 알고리즘에 입력하여 최종 이미지 세그멘테이션을 도출한다.
• 정밀도 향상을 위해 개선 전에 시각적 중요도 맵에 이미지 팽창 및 침식을 적용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 DCNN을 통해 입력 이미지를 기울기 기반으로 최적화함으로써 고품질의 시각적 중요도 맵을 생성할 수 있는가?
• RQ2 DCNN 훈련 중 마스킹된 이미지를 통합함으로써 시각적 중요도 검출 성능이 어떻게 향상되는가?
• RQ3 제안된 방법은 벤치마크 데이터셋에서 기존 방법들을 능가하면서도 실시간 추론 속도(초당 20~40장)를 달성할 수 있는가?
• RQ4 이중 배경, 다중 시각적 중요도 객체 또는 매우 소형 객체를 포함한 어려운 이미지에서 이 방법의 효과는 어떠한가?
• RQ5 이 방법이 생성한 시각적 중요도 맵이 후속 이미지 세그멘테이션 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 단일 GPU에서 초당 20~40장의 이미지 추론 속도를 확보하여 실시간 응용에 매우 효율적이다.
• MS COCO 데이터셋에서, Fβ 점수 측면에서 [6]과 [21]을 모두 능가하며, 가장 우수한 성능를 보인 변종(CNN2+CNN3)이 가장 높은 Fβ 값을 기록했다.
• Pascal VOC 2012에서, 도메인 내 미세조정된 이미지 수가 적음에도 불구하고, Fβ 점수 측면에서 [6]과 유사한 성능를 보이며, 약간 더 뛰어난 성능를 기록했다.
• 훈련 중 마스킹된 이미지를 사용함으로써 시각적 중요도 검출 성능이 크게 향상되었으며, 특히 복잡한 환경에서 시각적 중요도 객체의 국소화에 효과적이다.
• 이 방법이 생성한 시각적 중요도 맵을 SaliencyCut 알고리즘에 입력으로 사용할 경우, COCO 및 VOC 2012 양쪽에서 기준 방법들을 능가하는 뛰어난 이미지 세그멘테이션 결과를 도출한다.
• 시각적 예시를 통해, 이중 하향식 방법인 영역 대비 방법이 실패하는 경우에도, 이 방법은 복잡한 배경이나 다중 시각적 중요도 영역을 포함한 이미지에서 시각적 중요도 객체를 효과적으로 국소화함을 보여준다.