[논문 리뷰] Adaptive Fusion for RGB-D Salient Object Detection

Ningning Wang, Xiaojin Gong|arXiv (Cornell University)|2019. 01. 05.

Visual Attention and Saliency Detection참고 문헌 29인용 수 4

한 줄 요약

이 논문은 RGB-D 색조 객체 검출을 위한 엔드 투 엔드 적응형 융합 프레임워크를 제안한다. 두 개의 스트림으로 구성된 CNN을 사용해 RGB와 깊이 모odalities에서 별도의 색조 지도를 생성한 후, 모달리티 신뢰도에 따라 동적으로 융합하기 위한 스위치 지도를 학습한다. 적응형 융합과 에지 보존 손실을 결합함으로써, 세 가지 벤치마크 데이터셋에서 최신 기술(SOTA)을 초월하는 성능을 달성하며, 경계 정확도와 색조 일관성을 크게 향상시킨다.

ABSTRACT

RGB-D salient object detection aims to identify the most visually distinctive objects in a pair of color and depth images. Based upon an observation that most of the salient objects may stand out at least in one modality, this paper proposes an adaptive fusion scheme to fuse saliency predictions generated from two modalities. Specifically, we design a two-streamed convolutional neural network (CNN), each of which extracts features and predicts a saliency map from either RGB or depth modality. Then, a saliency fusion module learns a switch map that is used to adaptively fuse the predicted saliency maps. A loss function composed of saliency supervision, switch map supervision, and edge-preserving constraints is designed to make full supervision, and the entire network is trained in an end-to-end manner. Benefited from the adaptive fusion strategy and the edge-preserving constraint, our approach outperforms state-of-the-art methods on three publicly available datasets.

연구 동기 및 목표

• 색소와 깊이 모달리티 간의 보완 정보를 효과적으로 활용하지 못하는 고정된 융합 전략의 한계를 해결한다.
• 한 모달리티에서 시각적으로 모호한 객체가 다른 모달리티에서는 뚜렷한 경우의 객체 검출 과제를 해결한다.
• 새로운 에지 보존 손실 함수를 통해 색조 지도의 경계 정확도와 공간 일관성을 향상시킨다.
• 학습 가능한 스위치 지도를 사용해 두 모달리티의 예측을 적응적으로 융합할 수 있는 엔드 투 엔드 학습 가능한 프레임워크를 개발한다.
• 다양한 깊이 품질과 시나리오 복잡도를 가진 다양한 데이터셋에서 일관된 성능 향상을 달성한다.

제안 방법

• RGB 이미지와 깊이 맵을 별도로 처리하는 두 개의 스트림으로 구성된 CNN 아키텍처를 사용해 기능을 독립적으로 추출하고 初기 색조 지도를 예측한다.
• 스위치 지도를 학습하여 각 공간 위치에서 더 신뢰도 높은 모달리티의 예측에 더 높은 가중치를 할당하는 적응형 융합을 수행하는 색조 융합 모듈을 설계한다.
• 스위치 지도 학습을 위한 지도로, 개별 모달리티 예측의 신뢰도를 기반으로 가짜 진짜 스위치 지도를 구성한다.
• 색조 경계의 편차를 보상하는 에지 보존 손실 함수를 도입하여 공간 일관성을 향상시키고 블러링을 줄인다.
• 색조 지도 감독, 스위치 지도 감독, 에지 보존 제약 조건을 포함한 복합 손실을 사용해 전체 네트워크를 엔드 투 엔드로 학습한다.
• 각 스트림에서 다중 척도 특징 집약을 활용해 기능 표현을 향상시키면서도 모델의 단순성을 유지한다.

실험 결과

연구 질문

• RQ1 RGB와 깊이 색조 예측의 적응형 융합이 요소별 덧셈 또는 곱셈과 같은 고정된 융합 전략을 능가할 수 있는가?
• RQ2 한 모달리티가 다른 모달리티보다 더 신뢰도가 높을 경우, 모달리티별 스위치 지도를 학습하는 것이 정확도 향상에 기여하는가?
• RQ3 에지 보존 손실이 융합된 색조 지도의 경계 선명도와 공간 일관성에 얼마나 기여하는가?
• RQ4 제안된 방법이 다양한 깊이 품질과 시나리오 복잡도를 가진 데이터셋으로 일반화 가능한가?
• RQ5 색조 객체가 오직 한 모달리티에서만 식별 가능한 상황에서 적응형 융합 전략은 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 NJUD에서 최대 F-측정값 0.899, NLPR에서 0.899, STEREO에서 0.904를 기록하여 세 데이터셋 모두에서 모든 최신 기술(SOTA) 방법을 능가한다.
• NLPR에서 MAE는 0.0327로 개선되어 다음으로 우수한 방법인 PCA(0.0433)보다 뚜렷한 향상을 보이며 고품질 깊이 데이터에서 뛰어난 성능을 입증한다.
• 에지 보존 손실은 경계의 블러링을 효과적으로 줄여, 배경과 유사한 특징을 가진 어려운 영역에서도 더 선명하고 일관성 있는 색조 지도를 생성한다.
• 시각적 비교 결과, 이 방법은 복잡한 시나리오에서 색조 객체를 더 정확하게 국소화하고, CTMF, MPCI 및 PCA보다 깊이 모호성에 더 강건하게 대처한다.
• 스위치 지도는 신뢰도가 낮은 예측을 억제한다 — 예를 들어, 저대비 영역에서는 RGB 예측에 낮은 가중치를 할당함으로써 효과적인 모달리티 선택을 보여준다.
• 모든 지표와 데이터셋에서 강력한 SOTA 기준인 PCA를 초월하여 일관되게 성능 향상을 보이며, 적응형 융합과 에지 정규화의 효과를 입증한다.