[논문 리뷰] A Fast and Compact Saliency Score Regression Network Based on Fully Convolutional Network

Xuanyang Xi, Yongkang Luo외 3명|arXiv (Cornell University)|2017. 02. 02.

Visual Attention and Saliency Detection참고 문헌 4인용 수 6

한 줄 요약

이 논문은 사전 또는 사후 처리 없이 실시간으로 고해상도 밀도 있는 샐리언시 맵을 직접 예측할 수 있는 빠르고 컴act한 완전 컨volution 레이어 기반의 saliency score 회귀 모델을 제안한다. VGG-16의 완전 연결 레이어를 완전 컨볼루션 레이어로 대체하고 고유의 손실 함수를 사용함으로써, 이 방법은 35 FPS에서 최신 기술 수준의 정밀도를 달성하며, 기존의 딥 러닝 기반 방법들보다 빠른 속도를 확보하면서도 높은 정확도를 유지한다.

ABSTRACT

Visual saliency detection aims at identifying the most visually distinctive parts in an image, and serves as a pre-processing step for a variety of computer vision and image processing tasks. To this end, the saliency detection procedure must be as fast and compact as possible and optimally processes input images in a real time manner. It is an essential application requirement for the saliency detection task. However, contemporary detection methods often utilize some complicated procedures to pursue feeble improvements on the detection precession, which always take hundreds of milliseconds and make them not easy to be applied practically. In this paper, we tackle this problem by proposing a fast and compact saliency score regression network which employs fully convolutional network, a special deep convolutional neural network, to estimate the saliency of objects in images. It is an extremely simplified end-to-end deep neural network without any pre-processings and post-processings. When given an image, the network can directly predict a dense full-resolution saliency map (image-to-image prediction). It works like a compact pipeline which effectively simplifies the detection procedure. Our method is evaluated on six public datasets, and experimental results show that it can achieve comparable or better precision performance than the state-of-the-art methods while get a significant improvement in detection speed (35 FPS, processing in real time).

연구 동기 및 목표

• 복잡한 환경에서 실시간으로 효율적인 샐리언시 검출 방법의 부족을 해결하기 위해.
• 딥 러닝 기반 샐리언시 모델에서 흔히 발생하는 시간 소모적인 사전 및 사후 처리 단계를 제거하기 위해.
• 완전한 해상도 입력에서 직접 밀도 있는 샐리언시 맵을 회귀하는 엔드 투 엔드, 단일 단계 네트워크를 개발하기 위해.
• 실제 배포를 위한 실용성을 고려해 높은 정밀도와 최소한의 모델 크기, 빠른 추론 속도를 균형 있게 조화시키기 위해.
• FCN 아키텍처 내에서 샐리언시 스코어 회귀에 특화된 새로운 손실 함수의 효과를 검증하기 위해.

제안 방법

• 완전 연결 레이어를 완전 컨볼루션 레이어로 대체한 수정된 VGG-16 네트워크를 사용하여 엔드 투 엔드, 고해상도 출력을 가능하게 한다.
• 자연스러운 시각적 정보를 유지하기 위해 내림샘플링을 방지하기 위해 단일 고해상도 입력을 사용한다.
• 특징 맵을 원본 이미지 크기로 복원하기 위해 이중 선형 보간 레이어를 사용하여 공간 해상도를 유지한다.
• 정확한 픽셀 수준의 샐리언시 스코어 회귀를 유도하기 위해 고유의 손실 함수를 설계한다.
• 초기 슈퍼픽셀, 영역 수준, 또는 CRF 기반의 사후 처리 없이 엔드 투 엔드 방식으로 네트워크를 훈련한다.
• 속도와 컴팩트함을 향상시키기 위해 다중 해상도 입력 및 국소-전역 특징 융합을 제거하여 아키텍처를 단순화한다.

실험 결과

연구 질문

• RQ1 완전 컨볼루션 네트워크가 사전 또는 사후 처리 없이도 고정밀도 샐리언시 검출을 달성할 수 있는가?
• RQ2 제안된 손실 함수는 샐리언시 회귀에서 유럽식 또는 교차 엔트로피 손실과 비교해 어떻게 성능을 냈는가?
• RQ3 다양한 아키텍처 단순화(예: 다중 해상도 입력 제거)가 속도와 정확도에 어떤 영향을 미치는가?
• RQ4 작고 실시간 동작이 가능한 샐리언시 검출 모델이 벤치마크 데이터셋에서 경쟁적인 성능을 유지할 수 있는가?
• RQ5 실제 배포 환경에서 모델의 추론 속도가 최신 기술 수준의 방법들과 비교해 어떻게 되는가?

주요 결과

• 제안된 방법은 35 FPS의 추론 속도를 달성하여, 일반적으로 이미지당 100ms 이상 소요되는 기존의 딥 러닝 기반 방법들보다 뚜렷이 빠른 성능을 보였다.
• 6개의 공개 데이터셋에서 AUC, F-측정치, MAE 지표에서 최신 기술 수준의 방법들과 비교해 유사하거나 더 우수한 성능을 기록했다.
• 모델 크기는 단지 81.9 MB로 매우 컴팩트하여 자원 제약이 있는 장치에 배포하기에 적합하다.
• 통제된 실험 결과, 제안된 손실 함수가 모든 평가 지표에서 유럽식 손실과 교차 엔트로피 손실보다 뛰어난 성능을 보였다.
• 기존 연구에서 성능 향상을 위해 흔히 사용되는 복잡한 사후 처리(예: CRF) 없이도 높은 정밀도를 유지했다.
• 제거된 아키텍처 단순화(다중 해상도 입력 및 국소-전역 융합 제거)가 정확도 손실를 최소화하면서도 빠른 속도 향상에 기여한다는 것이 추론 연구를 통해 확인되었다.