[논문 리뷰] PDNet: Prior-model Guided Depth-enhanced Network for Salient Object Detection

Chunbiao Zhu, Xing Cai외 3명|arXiv (Cornell University)|2018. 03. 23.

Visual Attention and Saliency Detection참고 문헌 10인용 수 15

한 줄 요약

PDNet는 RGB-D 색채도 객체 검출을 위한 사전 모델 유도형, 깊이 강화형 완전 컨volution 네트워크를 제안하며, 대규모 RGB 데이터에서 사전 훈련된 마스터 네트워크와 깊이 신호를 별도로 처리하는 독립형 서브넷을 사용하여, 다섯 개인 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다. F-measure 점수는 LFSD에서 최대 0.8805, NJU2000-TE에서 최대 0.8503을 기록한다.

ABSTRACT

Fully convolutional neural networks (FCNs) have shown outstanding performance in many computer vision tasks including salient object detection. However, there still remains two issues needed to be addressed in deep learning based saliency detection. One is the lack of tremendous amount of annotated data to train a network. The other is the lack of robustness for extracting salient objects in images containing complex scenes. In this paper, we present a new architecture$ - $PDNet, a robust prior-model guided depth-enhanced network for RGB-D salient object detection. In contrast to existing works, in which RGB-D values of image pixels are fed directly to a network, the proposed architecture is composed of a master network for processing RGB values, and a sub-network making full use of depth cues and incorporate depth-based features into the master network. To overcome the limited size of the labeled RGB-D dataset for training, we employ a large conventional RGB dataset to pre-train the master network, which proves to contribute largely to the final accuracy. Extensive evaluations over five benchmark datasets demonstrate that our proposed method performs favorably against the state-of-the-art approaches.

연구 동기 및 목표

• 색채도 검출에서 딥 네트워크 훈련을 위한 annotation이 제한된 RGB-D 데이터셋 문제를 해결한다.
• 유사한 외관으로 인해 RGB만으로는 실패하는 복잡한 환경에서의 강건성을 향상시킨다.
• 직접 연결하는 것보다 더 효과적으로 깊이 정보를 통합하기 위해 독립형 깊이 처리 서브넷을 사용한다.
• 마스터 네트워크를 대규모 RGB 데이터셋에서 사전 훈련하여 RGB-D 데이터에서의 미세조정 이전에 특징 학습 능력을 향상시킨다.
• 아키텍처 혁신과 효과적인 특징 융합을 통해 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 대규모 RGB 데이터셋(예: ImageNet)에서 마스터 네트워크를 사전 훈련하여 일반화 가능한 특징을 학습한 후, RGB-D 데이터에서 미세조정한다.
• 깊이 맵을 별도로 처리하기 위한 독립형 서브넷을 설계하여 메인 스트림에 직접 융합하지 않고 깊이 전용 특징을 추출한다.
• 가중치 기반 융합 전략(하이퍼파라미터 α)을 사용하여 최종 예측 단계에서 RGB 기반 특징과 깊이 강화 특징을 융합한다.
• U-Net 유사 아키텍처를 사용하여 인코더-디코더 구조를 구현한다: 인코더는 계층적 특징을 추출하고, 디코더는 공간 해상도를 복원하여 밀도 높은 예측을 수행한다.
• 인코더와 디코더 사이에 스킵 연결을 적용하여 공간 세부 정보를 유지하고 경계 국소화 성능을 향상시킨다.
• 마스터 네트워크의 훈련 안정성과 특징 표현 향상을 위해 사전 모델 가이던스 메커니즘을 도입한다.

실험 결과

연구 질문

• RQ1 대규모 RGB 데이터에서 사전 훈련된 마스터 네트워크가 제한된 RGB-D 색채도 검출 데이터셋에서 성능 향상에 기여하는가?
• RQ2 메인 네트워크에 깊이를 네 번째 채널로 직접 입력하는 것보다 전용 서브넷을 통해 깊이 정보를 처리하는 것이 더 높은 성능을 낳는가?
• RQ3 유사 무늬 배경을 가진 복잡한 환경에서 깊이 신호 통합이 검출 정확도에 어떤 영향을 미치는가?
• RQ4 RGB와 깊이 특징을 융합하기 위한 최적의 융합 전략은 무엇인가?
• RQ5 제안된 아키텍처는 다양한 RGB-D 벤치마크에서 일반화 가능하며 기존 최신 기술 수준의 방법을 초월하는가?

주요 결과

• PDNet는 NJU2000-TE에서 F-measure 0.8503, NLPR-TE에서 0.8478을 기록하여 CTMF17, DF17, TPF17를 포함한 모든 비교 방법을 능가한다.
• LFSD 데이터셋에서 PDNet는 F-measure 0.8805와 MAE 0.0384를 기록하여 복잡한 환경에서 뛰어난 성능을 입증한다.
• 절단 실험 결과, RGB 데이터에서의 사전 훈련과 독립형 깊이 서브넷 모두 성능 향상에 기여하며, α=1일 때 최고의 성능을 기록한다.
• 시각적 비교 결과, PDNet는 경계 유지와 더불어 더 선명한 색채도 맵과 더 세밀한 세부 정보를 생성하는 것으로 확인되었다.
• 모든 다섯 개의 데이터셋에서의 PR 곡선 분석 결과, PDNet는 특히 고재현 영역에서 모든 기준 방법보다 뚜렷한 우월성을 보였다.
• 모든 다섯 개의 벤치마크 데이터셋에서 일관된 성능 향상이 관찰되어 강력한 일반화 능력을 보였다.