[논문 리뷰] Visual Saliency Based on Multiscale Deep Features

Guanbin Li, Yizhou Yu|arXiv (Cornell University)|2015. 03. 30.

Visual Attention and Saliency Detection참고 문헌 33인용 수 259

한 줄 요약

이 논문은 사전 훈련된 CNN에서 추출한 다중 척도 딥 특징을 활용하여 높은 정확도로 시각적 주목 지도를 예측하는 딥 러닝 기반의 시각적 주목 모델을 제안한다. 중첩된 이미지 영역에서 유도된 다중 척도 특징, 회귀를 위한 완전 연결층, 공간 일관성 개선, 다중 수준 분할 융합을 통합함으로써, 이 방법은 최신 기술 수준의 성능을 달성하여 HKU-IS라는 새로운 대규모 벤치마크 데이터셋에서 F-측정치를 13.2% 향상시키고 MAE를 35.1% 감소시켰다.

ABSTRACT

Visual saliency is a fundamental problem in both cognitive and computational sciences, including computer vision. In this CVPR 2015 paper, we discover that a high-quality visual saliency model can be trained with multiscale features extracted using a popular deep learning architecture, convolutional neural networks (CNNs), which have had many successes in visual recognition tasks. For learning such saliency models, we introduce a neural network architecture, which has fully connected layers on top of CNNs responsible for extracting features at three different scales. We then propose a refinement method to enhance the spatial coherence of our saliency results. Finally, aggregating multiple saliency maps computed for different levels of image segmentation can further boost the performance, yielding saliency maps better than those generated from a single segmentation. To promote further research and evaluation of visual saliency models, we also construct a new large database of 4447 challenging images and their pixelwise saliency annotation. Experimental results demonstrate that our proposed method is capable of achieving state-of-the-art performance on all public benchmarks, improving the F-Measure by 5.0% and 13.2% respectively on the MSRA-B dataset and our new dataset (HKU-IS), and lowering the mean absolute error by 5.7% and 35.1% respectively on these two datasets.

연구 동기 및 목표

• 사전 훈련된 CNN 특징을 활용하여 다중 척도적 맥락 대비를 효과적으로 포착할 수 있는 딥 러닝 기반의 시각적 주목 모델을 개발하는 것.
• 기존 주목 모델의 한계를 보완하기 위해 공간 일관성과 다중 수준 이미지 분할을 통합하여 정밀한 국소화와 강건성을 향상시키는 것.
• 4,447장의 이미지와 픽셀 단위의 주목 레이블을 포함한 새로운 대규모이고 도전적인 벤치마크 데이터셋(HKU-IS)을 구축하여 고도화된 주목 연구를 지원하는 것.
• 사전 훈련된 ImageNet 네트워크에서 유도된 다중 척도 딥 특징이 전통적인 수작업 특징보다 주목 예측에 매우 효과적임을 입증하는 것.

제안 방법

• 각 이미지 영역 주변의 세 개의 중첩된 직사각형 창(영역 자체, 인접 영역, 전체 이미지)에서 다중 척도 CNN 특징을 추출한다.
• 결합된 다중 척도 CNN 특징에서 회귀를 위해 완전 연결 신경망을 사용하며, 레이블이 부여된 주목 지도를 기반으로 훈련한다.
• 예측된 주목 지도의 부드럽고 구조적으로 일관된 성질을 향상시키기 위해 공간 일관성 개선 모듈을 적용한다.
• 15개 수준의 이미지 분할에서 생성된 주목 지도를 융합하여 탐지 정확도와 강건성을 향상시킨다.
• F-측정치와 평균 절대 오차(MAE) 최적화를 위해 대규모 주목 지도 레이블 세트를 기반으로 회귀 손실을 사용하여 엔드 투 엔드 모델을 훈련한다.
• 풍부한 의미 정보를 담은 깊이 계층적 표현을 활용하기 위해 사전 훈련된 ImageNet CNN을 특징 추출기로 활용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN에서 유도된 다중 척도 딥 특징은 기존 방법에 비해 시각적 주목 예측 성능을 크게 향상시킬 수 있는가?
• RQ2 공간 일관성과 다중 수준 이미지 분할의 통합은 주목 예측 개선에 얼마나 효과적인가?
• RQ3 다중 척도 특징은 영역 간 대비와 의미적 맥락을 얼마나 잘 포착하여 더 나은 주목 추정을 가능하게 하는가?
• RQ4 딥 러닝 기반 주목 모델의 성능은 더 복잡하고 다양한 도전적인 데이터셋에서 어떻게 스케일링되는가?
• RQ5 새로운 대규모 벤치마크 데이터셋(HKU-IS)은 최신 기술 수준의 주목 모델 평가 및 발전을 더 잘 지원할 수 있는가?

주요 결과

• 제안된 방법은 두 번째로 우수한 성능을 보인 모델 대비 새로운 HKU-IS 데이터셋에서 F-측정치를 13.2% 향상시켜 현저히 뛰어난 성능을 보였다.
• MSRA-B 데이터셋에서 두 번째로 뛰어난 베이스라인 대비 F-측정치는 5.0% 향상되고 MAE는 5.7% 감소하였다.
• 도전적인 HKU-IS 데이터셋에서 MAE는 35.1% 감소하여 다수의 주목 대상이 존재하는 복잡한 시나리오에서도 뛰어난 성능을 입증하였다.
• 공간 일관성 개선 기법의 적용은 정밀도와 재현율을 모두 향상시켰으며, 주목 지도의 부드러움과 정확도에서 명확한 시각적 및 정량적 향상을 보였다.
• 15개 분할 수준에서 생성된 주목 지도를 융합함으로써 최상의 단일 수준 분할 대비 평균 정밀도는 2.15% 향상되고 재현율은 3.47% 향상되었다.
• 제거 실험 결과, 다중 척도 특징 벡터의 세 구성 요소(A, B, C)가 상호 보완적이며, 전체 S-3CNN 특징 세트가 가장 우수한 성능을 내는 것으로 확인되었다.