[논문 리뷰] Learning RGB-D Salient Object Detection using background enclosure, depth contrast, and top-down features

Riku Shigematsu, Dagan Feng외 2명|arXiv (Cornell University)|2017. 05. 10.

Visual Attention and Saliency Detection참고 문헌 26인용 수 11

한 줄 요약

이 논문은 고수준 의미적 특징, 저수준 깊이 대비 특징, 그리고 새로운 중수준 배경 둘러싸임 분포(BED) 특징을 통합하는 새로운 딥 CNN 아키텍처를 제안한다. 이 방법은 RGBD1000 데이터셋에서 F-스코어 0.848을 달성하여 두 번째로 높은 성능을 보인 방법보다 10.7% 높은 상태의 최고 성능을 기록하며, 깊이 대비와 배경 둘러싸임을 조합함으로써 보다 향상된 시각적 주목도 예측이 가능함을 입증한다.

ABSTRACT

Recently, deep Convolutional Neural Networks (CNN) have demonstrated strong performance on RGB salient object detection. Although, depth information can help improve detection results, the exploration of CNNs for RGB-D salient object detection remains limited. Here we propose a novel deep CNN architecture for RGB-D salient object detection that exploits high-level, mid-level, and low level features. Further, we present novel depth features that capture the ideas of background enclosure and depth contrast that are suitable for a learned approach. We show improved results compared to state-of-the-art RGB-D salient object detection methods. We also show that the low-level and mid-level depth features both contribute to improvements in the results. Especially, F-Score of our method is 0.848 on RGBD1000 dataset, which is 10.7% better than the second place.

연구 동기 및 목표

• RGB 및 깊이 입력에서 다수준 특징을 활용하는 완전한 딥 CNN 기반 시스템을 개발하여 RGB-D 시각적 주목도 검출을 수행하는 것.
• 딥 CNN이 RGB-D 주목도 검출에서 제한적으로 탐색된 점을 보완하기 위해 새로운 깊이 전용 특징을 도입하는 것.
• 저수준 깊이 대비 및 중수준 배경 둘러싸임 특징을 통합하여 검출 정확도를 향상시키는 것.
• 제안된 BED 특징과 깊이 특징의 기여도를 부정성 분석을 통해 평가하는 것.
• RGBD1000 및 NJUDS2000와 같은 벤치마크 데이터셋에서 최고 성능을 입증하는 것.

제안 방법

• 사전 훈련된 네트워크(예: VGG16)에서 유도된 고수준 특징, 제안된 배경 둘러싸임 분포(BED)에서 유도된 중수준 특징, 깊이 대비에서 유도된 저수준 특징을 융합하는 딥 CNN 아키텍처를 제안한다.
• BED 특징을 도입하며, 이는 특정 영역 주변의 깊이 값 분포를 공간적으로 표현하여 배경 둘러싸임을 모델링하는 중수준 깊이 표현으로, 엔드 투 엔드 학습에 적합하다.
• 저수준 깊이 특징을 설계하여, 영역의 깊이와 그 주변 깊이 값 간의 차이를 명시적으로 인코딩함으로써 국소적 주목도 신호를 강화한다.
• 다중 스케일 융합 전략을 사용하여 저수준, 중수준, 고수준 특징을 융합하여 정교한 주목도 맵을 생성한다.
• RGBD1000 및 NJUDS2000 데이터셋에서 Adadelta 옵timizer, 데이터 증강(회전 및 반전), 학습률 감소를 적용한 엔드 투 엔드 훈련 파이프라인을 구현한다.
• 노이즈가 많은 깊이 데이터(예: NJUDS2000)에서 슈퍼픽셀 히스토그램 차이를 평균 깊이로 대체하여 특징 표현을 적응시켜 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 CNN 아키텍처가 RGB와 깊이 특징을 효과적으로 융합하여 기존 방법을 초월하는 주목도 검출을 수행할 수 있는가?
• RQ2 저수준 깊이 대비 특징은 RGB 전용 모델 대비 주목도 검출 성능 향상에 어떻게 기여하는가?
• RQ3 제안된 중수준 배경 둘러싸임 분포(BED) 특징은 성능 향상에 어느 정도 기여하는가?
• RQ4 고수준, 중수준, 저수준 특징의 융합은 벤치마크 데이터셋에서 더 나은 일반화 및 높은 정확도를 이끌어내는가?
• RQ5 노이즈가 많은 깊이 조건에서 모델의 성능은 어떠한가? 특징 적응 전략은 강인성을 향상시키는가?

주요 결과

• 제안된 방법은 RGBD1000 데이터셋에서 F-스코어 0.848을 달성하여 두 번째로 높은 성능을 보인 방법보다 10.7% 높은 최고 성능을 기록하며 새로운 상태의 최고 기록을 수립한다.
• 저수준 깊이 대비 특징의 포함은 RGB 전용 모델 대비 성능 향상을 이끌어내며, RGBD1000에서 F-스코어가 ELD-Net의 0.725에서 0.821로 증가한다.
• BED 특징은 성능 향상에 크게 기여한다: BED 특징을 제거하면 RGBD1000에서 F-스코어가 0.848에서 0.841로 감소하여 배경 둘러싸임을 모델링하는 데 그 효과가 뚜렷하다는 것을 시사한다.
• 더 노이즈가 많은 깊이 데이터를 가진 NJUDS2000 데이터셋에서는 슈퍼픽셀 히스토그램 차이를 평균 깊이로 대체한 Ours*가 F-스코어를 0.817에서 0.833으로 향상시켜 깊이 품질에 대한 강인성을 입증한다.
• 모델은 정밀도를 향상시키면서도 높은 재현율을 유지하여, 정밀도-재현율 곡선에서 하향식 및 상향식 RGB-D 방법을 모두 능가한다.
• 부정성 분석 결과, 저수준 깊이 대비 및 중수준 BED 특징이 각각 독립적으로 검출 성능 향상에 기여하며, 두 특징의 조합이 가장 우수한 성능을 낸다.