[논문 리뷰] Salient Object Detection by Lossless Feature Reflection

Pingping Zhang, Wei Liu외 2명|arXiv (Cornell University)|2018. 02. 19.

Visual Attention and Saliency Detection참고 문헌 11인용 수 9

한 줄 요약

이 논문은 손실 없는 특징 반사 기반 대칭형 완전 컨volution 네트워크(SFCN)를 제안하여 보조적 특징을 공동으로 학습하고 구조적 감독을 강화함으로써 명확한 물체 검출 성능을 향상시킨다. 새로운 구조적 손실를 통해 위치, 맥락 및 의미 정보를 통합함으로써 일곱 가지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 경계 정확도와 공간 일관성이 크게 향상되었다.

ABSTRACT

Salient object detection, which aims to identify and locate the most salient pixels or regions in images, has been attracting more and more interest due to its various real-world applications. However, this vision task is quite challenging, especially under complex image scenes. Inspired by the intrinsic reflection of natural images, in this paper we propose a novel feature learning framework for large-scale salient object detection. Specifically, we design a symmetrical fully convolutional network (SFCN) to learn complementary saliency features under the guidance of lossless feature reflection. The location information, together with contextual and semantic information, of salient objects are jointly utilized to supervise the proposed network for more accurate saliency predictions. In addition, to overcome the blurry boundary problem, we propose a new structural loss function to learn clear object boundaries and spatially consistent saliency. The coarse prediction results are effectively refined by these structural information for performance improvements. Extensive experiments on seven saliency detection datasets demonstrate that our approach achieves consistently superior performance and outperforms the very recent state-of-the-art methods.

연구 동기 및 목표

• 복잡한 이미지 환경에서 블러진 물체 경계와 낮은 국소화 정확도 문제를 해결한다.
• 딥 네트워크에서의 다운샘플링 연산이 공간 세부 정보와 위치 정보를 떨어뜨리는 한계를 극복한다.
• 손실 없는 특징 반사에 의해 이끌리는 대칭 네트워크 브랜치를 통해 보완적 특징을 활용하여 특징 표현을 향상시킨다.
• 위치, 맥락 및 의미 신호를 통합한 구조적 감독을 통합하여 검출 성능을 향상시킨다.
• 분할 전훈이 필요 없이 기존 최신 기술 수준(SOTA) 방법보다 뛰어난 성능을 내는 엔드 투 엔드 학습 가능한 프레임워크를 개발한다.

제안 방법

• 서로 다른 이미지 쌍을 처리하는 공유 가중치를 가진 두 개의 형제 브랜치를 갖는 대칭형 완전 컨볼루션 네트워크(SFCN)를 설계하여 손실 없는 특징 반사 기반으로 보완적 시각적 특징을 학습한다.
• 형제 브랜치에서 다중 수준 특징을 계층적으로 집계하여 정교화된 사활 맵을 생성하는 융합 브랜치를 구현한다.
• 가중치가 부여된 이진 교차 엔트로피, 경계 인식 손실($\mathcal{L}_{sc}$), 공간 일관성 손실($\mathcal{L}_{s1}$)을 조합한 새로운 구조적 손실 함수를 제안하여 세 브랜치 모두를 감독한다.
• 구조적 손실을 사용하여 정확한 사활 예측, 날카운 물체 경계, 특징 맵 간의 공간 일관성을 공동 최적화한다.
• 이진 교차 엔트로피와 제안된 구조적 손실의 조합을 사용하여 전체 네트워크를 엔드 투 엔드로 학습하며, ImageNet 사전 훈련 모델을 기반으로 미세조정한다.
• 특징 반사를 활용하여 고해상도 세부 정보를 유지하고, 특히 저대비 또는 혼잡한 환경에서 특징의 보완성을 향상시킨다.

실험 결과

연구 질문

• RQ1 대칭형 완전 컨볼루션 네트워크에서 손실 없는 특징 반사 기반으로 특징의 보완성과 사활 검출 성능을 향상시킬 수 있는가?
• RQ2 위치, 맥락 및 의미 정보를 통합한 구조적 감독을 통합할 경우 경계 정확도와 공간 일관성은 어느 정도 향상되는가?
• RQ3 저대비 또는 혼잡한 배경을 가진 복잡한 환경에서 제안된 구조적 손실는 표준 이진 교차 엔트로피보다 어떻게 성능을 높이는가?
• RQ4 분할 전훈이 필요 없이 SFCN 프레임워크는 다양한 벤치마크에서 일관된 성능 향상을 달성하는가?
• RQ5 각 구성요소(예: 반사, 계층적 융합, 구조적 손실)가 전체 성능 향상에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 방법은 ECSSD에서 F-측정값 0.880, SED2에서 0.897을 기록하여 일곱 가지 벤치마크에서 비교된 모든 최신 기술 수준(SOTA) 방법보다 뛰어난 성능을 달성하였다.
• 모든 손실 구성요소($\mathcal{L}_{wbce} + \mathcal{L}_{sc} + \mathcal{L}_{s1}$)를 갖는 모델은 ECSSD에서 MAE 0.049를 기록하여 뛰어난 픽셀 수준 정확도를 보였다.
• DUT-OMRON 및 SED 데이터셋에서 최근의 SOTA 방법보다 뚜렷한 성능 향상을 보였으며, 이는 구조적 손실 함수 덕분이었다.
• 분할 전훈 없이도 ImageNet 사전 훈련 모델에서 미세조정한 모델이 DCL 및 RFCN보다 더 좋은 성능을 내어 강력한 일반화 능력을 입증하였다.
• 절단 실험 결과 각 구성요소—특히 구조적 손실—이 성능 향상에 기여하며, 전체 모델이 모든 지표에서 최고 성능을 기록하였다.
• 정성적 결과는 저대비 또는 경계 근처에 있는 물체와 같은 어려운 케이스에서 더 날카운 경계를 유지하고 완전한 사활 구조를 포착함을 보여주었다.