[논문 리뷰] Recursive Contour Saliency Blending Network for Accurate Salient Object Detection

Yi Ke Yun, Takahiro Tsubono|arXiv (Cornell University)|2021. 05. 28.

Visual Attention and Saliency Detection인용 수 7

한 줄 요약

이 논문은 윤곽선과 시각적 주목성 특징을 새로운 Contour-Saliency Blending (CSB) 모듈을 통해 융합함으로써 주목성 객체 검출 성능을 향상시키는 RCSBNet을 제안한다. 재귀적 CNN을 사용하여 효율성을 유지하면서 경계 정확도를 향상시키며, 총 2790만 개의 가중치만을 사용하여 다섯 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Contour information plays a vital role in salient object detection. However, excessive false positives remain in predictions from existing contour-based models due to insufficient contour-saliency fusion. In this work, we designed a network for better edge quality in salient object detection. We proposed a contour-saliency blending module to exchange information between contour and saliency. We adopted recursive CNN to increase contour-saliency fusion while keeping the total trainable parameters the same. Furthermore, we designed a stage-wise feature extraction module to help the model pick up the most helpful features from previous intermediate saliency predictions. Besides, we proposed two new loss functions, namely Dual Confinement Loss and Confidence Loss, for our model to generate better boundary predictions. Evaluation results on five common benchmark datasets reveal that our model achieves competitive state-of-the-art performance.

연구 동기 및 목표

• 약한 윤곽선-주목성 융합로 인한 윤곽기반 주목성 객체 검출 모델의 과도한 오진 억제
• 성능 저하 없이 모델 복잡도와 학습 가능한 파라미터를 줄여 SOD 분야에서의 대규모 파라미터 모델 경향에 대비
• 종단 간 융합을 통해 윤곽선과 주목성 특징을 더 효과적으로 통합하여 경계 예측 정확도 향상
• 보조 측면 브랜치를 제거하기 위해 단계별 특징 추출(SFE) 모듈 도입
• 두 가지 새로운 손실 함수를 사용한 이중 목표 학습 전략을 통해 모델 신뢰도와 예측 정확도 향상

제안 방법

• 재귀적 CNN 아키텍처 내에서 윤곽선 및 주목성 브랜치 간의 반복적이고 이중 방향 특징 교환을 가능하게 하는 새로운 Contour-Saliency Blending (CSB) 모듈 제안
• 재귀적 CNN을 활용해 네트워크 깊이를 증가시키면서도 총 학습 가능한 파라미터 수를 일정하게 유지하여 모델 크기 증가 없이 특징 표현 향상
• 주 네트워크 내에서 중간 주목성 및 윤곽선 예측을 직접적으로 지도하기 위해 보조 측면 브랜치가 필요 없도록 하는 단계별 특징 추출(SFE) 모듈 도입
• 주목성 맵이 형상과 공간 범위에서 모두 진짜값에 더 가까워지도록 제약을 두어 경계 예측을 정밀하게 개선하는 이중 구속 손실(DCLoss) 설계
• 정확한 예측에 대해 높은 신뢰도 출력을 유도함으로써 어려운 예시에 대해서도 모델 신뢰도를 향상시키는 Confidence Loss (CLoss) 제안
• 정확도와 신뢰도를 동시에 최적화하기 위해 BCE, 가중치 IOU, DCLoss, CLoss의 조합을 사용해 모델 학습

실험 결과

연구 질문

• RQ1 윤곽선 및 주목성 브랜치 간의 재귀적 특징 융합가능성은 경계 검출 정확도를 향상시키면서도 모델 파라미터를 줄일 수 있는가?
• RQ2 측면 지도를 사용한 별도의 브랜치 학습 대비, 조기 종단 간 융합이 더 나은 성능을 낼 수 있는가?
• RQ3 단계별 특징 추출 모듈은 추가적인 파라미터 없이도 오진 억제에 효과적인가?
• RQ4 제안된 DCLoss 및 CLoss는 표준 손실 함수 대비 경계 정밀도와 모델 신뢰도를 어느 정도 향상시키는가?
• RQ5 오직 2790만 개의 파라미터만을 사용하는 경량 모델이 다수의 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• RCSBNet은 DUTS-TE에서 평균 F-측정값 0.855, ECSSD에서 0.927를 기록하여 다섯 가지 벤치마크 데이터셋에서 13개의 최신 기술 수준 모델을 초월한다.
• 모델은 총 2790만 개의 파라미터로 경쟁적인 성능를 달성하였으며, EGNet(10800만), BASNet(8700만), U2Net(4400만) 등과 비교해 훨씬 적은 파라미터를 사용한다.
• 제거 분석 결과, 정밀도 모듈과 신뢰도 지도를 함께 사용할 경우 기준 모델 대비 F-측정값이 0.013 향상되어 가장 우수한 성능 확보
• SFE 모듈의 포함으로 DUTS-TE에서 평균 절대 오차(M)가 0.040에서 0.034로 감소하여 오진 억제 효과 향상
• DCLoss 및 CLoss 사용으로 DUTS-TE에서 M 점수 0.034, ECSSD에서 E-측정값 0.903 달성하여 경계 일관성과 정확도 향상
• 정성적 결과 분석에서 RCSBNet은 임계값 범위 전반에서 더 평탄한 F-측정값 곡선을 보이며, 이는 이질적인 이진 진짜값과의 보다 우수한 일치성과 강건성을 나타낸다.