[논문 리뷰] LCNN: Low-level Feature Embedded CNN for Salient Object Detection

Hongyang Li, Huchuan Lu외 3명|arXiv (Cornell University)|2015. 08. 17.

Visual Attention and Saliency Detection참고 문헌 15인용 수 13

한 줄 요약

이 논문은 MSRA-5000, PASCAL-S, 및 ECCSD 벤치마크에서 최고 성능을 기록한, 저수준 특징(예: 대비 및 공간적 단서)과 CNN이 학습한 고수준 의미론적 특징을 통합하는 딥 컨volution 신경망인 LCNN를 제안한다. 이러한 특징들을 연결하고 힌지 손실을 갖는 SVM를 사용해 공동으로 분류 학습함으로써, F-측정치와 평균 절대 오차에서 이전 방법들을 능가하는 상태의 기술(SOTA) 성능을 달성한다.

ABSTRACT

In this paper, we propose a novel deep neural network framework embedded with low-level features (LCNN) for salient object detection in complex images. We utilise the advantage of convolutional neural networks to automatically learn the high-level features that capture the structured information and semantic context in the image. In order to better adapt a CNN model into the saliency task, we redesign the network architecture based on the small-scale datasets. Several low-level features are extracted, which can effectively capture contrast and spatial information in the salient regions, and incorporated to compensate with the learned high-level features at the output of the last fully connected layer. The concatenated feature vector is further fed into a hinge-loss SVM detector in a joint discriminative learning manner and the final saliency score of each region within the bounding box is obtained by the linear combination of the detector's weights. Experiments on three challenging benchmark (MSRA-5000, PASCAL-S, ECCSD) demonstrate our algorithm to be effective and superior than most low-level oriented state-of-the-arts in terms of P-R curves, F-measure and mean absolute errors.

연구 동기 및 목표

• 복잡한 이미지에서 CNN의 고수준 의미론적 특징과 저수준 시각적 단서를 융합하여 명시적 객체 검출을 향상시키기.
• 전경과 배경이 유사한 색상 또는 질감을 가진 복잡한 환경에서 수작업으로 만든 저수준 사전 지식의 한계를 해결하기.
• 공동 학습 프레임워크를 통해 저수준 특징과 딥 특징을 통합함으로써 분류 능력을 향상시키기.
• 기존의 저수준 및 딥 러닝 기반의 명시성 검출 방법들과 비교해 벤치마크 데이터셋에서 뛰어난 성능을 달성하기.

제안 방법

• 작은 스케일 데이터셋에서 훈련된 수정된 CNN 아키텍처를 사용해 후보 경계 상자 내 이미지 패치에서 고수준 의미론적 특징을 추출한다.
• 각 영역에서 저수준 특징—특히 대비 및 공간 기술자—를 추출하여 국소적인 강도 및 구조적 차이를 포착한다.
• 고수준 CNN 특징과 저수준 기술자를 하나의 특징 벡터로 연결하여 각 영역에 대해 처리한다.
• 연결된 특징을 기반으로 힌지 손실을 갖는 SVM를 훈련하여 각 영역을 전경 또는 배경으로 분류하며, 명시성 점수는 SVM의 신뢰도 가중치에서 유도된다.
• 최종 명시성 맵은 선택적 검색을 통해 생성된 초기 경계 상자들에 대해 모든 후보 영역의 SVM 신뢰도 점수를 합산함으로써 생성된다.
• 전체 파ipeline는 특징 표현과 분류 정확도를 동시에 최적화하는 공동 분류 학습 프레임워크를 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 저수준 특징과 딥 CNN 특징을 융합함으로써 복잡한 환경에서의 명시성 검출 성능 향상이 가능한가?
• RQ2 고수준 의미론과 저수준 단서를 공동으로 학습할 경우, 벤치마크 데이터셋에서의 성능에 어떤 영향을 미치는가?
• RQ3 대비 특징과 공간 특징 중 어느 것이 더 중요한 기여를 하는가?
• RQ4 딥 특징과 저수준 사전 지식을 함께 사용할 때, 힌지 손실을 갖는 SVM가 명시적 영역을 효과적으로 분류할 수 있는가?
• RQ5 F-측정치와 평균 절대 오차 측면에서 LCNN는 최고 성능 기술(SOTA) 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• LCNN는 ECCSD 데이터셋에서 F-측정치 0.712를 기록하여 비교된 모든 방법들을 능가한다.
• PASCAL-S에서 LCNN는 평균 절대 오차(MAE) 0.164를 기록하여 명시성 예측의 정밀도가 뛰어나다는 것을 보여준다.
• MSRA-5000에서 LCNN는 F-측정치 0.79와 MAE 0.12를 기록하여 최고 성능을 내는 방법들 중 하나로 평가된다.
• 절단 실험 결과, 대비 특징이 공간 특징보다 더 크게 기여하며, 두 특징의 조합이 가장 뛰어난 성능을 낸다.
• 힌지 손실을 갖는 SVM 검출기의 포함으로 성능 향상이 뚜렷하게 향상되었으며, 특히 낮은 재현율 영역에서 더 나은 분류 학습 덕분이다.
• 시각적 비교 결과, LCNN는 전경과 배경이 유사한 색상 또는 질감을 가진 경우에도 명시적 객체를 효과적으로 탐지하며, 오직 저수준 특징이나 객체성에 의존하는 방법들보다 뛰어난 성능을 보인다.